Парадокс Симпсона, пишущая машинка Киллиана и условные гуманитарии

[sova_f]

Часть 1. Парадокс Симпсона

Пару месяцев тому назад в сети циркулировала серия постов про парадокс Симпсона на примере израильской статистики вакцинации. Признаюсь, что именно тогда я впервые об этом парадоксе услышала и очень впечатлилась. Ну и как не впечатлиться при виде такой таблицы?


Таблица взята из этой статьи, о которой я узнала из постов gingema и motek.

Воспользуюсь цитатой из поста motek.

Первый этап (то, что большинство госпитализированных с короной – привитые, не значит, что вакцина потеряла эффективность, т.к. надо смотреть на процент привитых по населению), надеюсь, уже все прошли. Следующий уровень: если подсчитать эффективность вакцины от тяжёлой болезни, не разбивая по возрасту, получается 67.5%. А вот если разбить по возрасту, то в каждой группе будет больше 80%! Это называется парадокс Симпсона.

Из Википедии: Парадокс Симпсона – эффект, явление в статистике, когда при наличии двух групп данных, в каждой из которых наблюдается одинаково направленная зависимость, при объединении этих групп направление зависимости меняется на противоположное. Там много примеров – причем в русской и английской примеры разные.

В вышеупомянутой статье парадокс объясняется на другом простом примере (его нет в Википедиях).

Предположим, по горизонтальной оси откладывается дозировка некоего лекарста, а по вертикальной – вероятность выздоровления. Красные точки относятся к людям более старшего возраста, а синие – к более молодым.


Из правого рисунка мы видим, что и у старшей, и у младшей группы более высокие дозы дают более низкую вероятность выздоровления, то есть для обеих групп лекарство явно не работает.

Однако если мы не стратифицируем свой анализ по возрасту, левый график показывает позитивное соотношение между дозировкой и вероятностью выздоровления. И это может привести к ошибочному заключению о том, что лекарство работает.

Причина этого парадоксального результата в том, что и дозировка, и вероятность выздоровления были систематически выше в одной группе (молодых) и ниже в другой (пожилых). И если мы не стратифицируем confounding factor (не знаю как перевести, но в данном случае возраст), то общий результат очевидно вводит нас в заблуждение.

Возвращаясь к нашей таблице, описывающей эффективность вакцины на количество тяжелых больных. Тот факт, что статус вакцинации и риск тяжелого заболевания систематически выше в старшей возрастной группе дает парадоксальный результат: общая эффективность (если оценивать их без разбивки по возрасту), 67.5%, намного ниже, чем эффективность для любой из возрастных групп (91.8% и 85.2%).

Фантастика, да? С тех пор наша четвертая волна уже сошла на нет, и неактуально, казалось бы, про Симпсона. Но во-первых, она наверняка не последняя, а во-вторых, записать очень захотелось.

Часть 2. Реакция публики.

К обоим постам нашлись чудесные комменты, и некоторые я полюбила особенно.

1. 60% населения привито, 60% привитых среди больных. Что еще надо? Вот правда. Все вы товарищи юлите. То вам приспичило нормировать на что-то, то по возрастам делить. Вот вам простая истина: 60% населения привито, 60% привитых среди больных – значит, больше болеют привитые!

На всякий случай объясняю на пальцах. 60% привито, 40% непривито. Те 60%, которые заболевшие, они в основном взялись не из тех 60%, а из этих 40%. Понятно, нет? Если непонятно, переходим к Части 3.

2. Про то, что первый этап все прошли
utnapishti:
Вы знаете – мне кажется, не все. Те, для кого очевидно, что процент привитых среди заболевших – параметр бессмысленный, впадают в другую крайность: не понимают, как кто-то ещё может этого не понимать. Я думаю – легко. (...) Вы кому-то говорите: процент привитых среди заболевших ни о чём не говорит. Или даже говорите – возьмём крайний случай: если привиты 100% населения, то и среди заболевших будет 100% привитых. А тот, кого вы пытаетесь просветить, говорит в ответ: Какая условная вероятность? Какой парадокс Симпсона? При чём тут крайний случай, когда привиты не 100% населения? Чего только эти гики-математики не придумают, чтобы сбить нас с толку!..

Отличный ответ alon_68:
Нечего делать, нам придётся жить в мире, где люди, не освоившие школьную математику, имеют возможность объединиться и заявить о себе как единая сила. Раньше они были разрознены ввиду мягкой, но действенной цензуры печатных изданий – ни одна уважающая себя газета или журнал не пропустили бы подобных рассуждений, а сейчас объединились в мировом масштабе.

Часть 3. Пишущая машинка Киллиана и гуманитарии

В процитированном выше комменте Утнапишти дает ссылку на знаменитую запись avva про пишущую машинку Киллиана. Я ее в свое время как-то упустила – зато теперь она идет просто на ура. Пост замечателен не только рассказом про удивительную историю с машинкой, но и рассуждениями про технарей и гуманитариев.

Л. сказал, что рассказ про пишущую машинку напомнил ему одну теорию о происхождении нашего мира. Когда-то Земля была плоская и на ней водились динозавры. Потом в Землю врезался гигантский метеорит, она прогнулась по центру, края закрылись и Земля приняла форму шара. Таким образом динозавры оказались внутри, а человек, возникший позже, оказался снаружи. И с тех пор мы выкапываем из земли кости динозавров.

А это просто картинка попалась в дружественном журнале.


Дисклеймер про гуманитариев напишете сами. С моей точки зрения – которые понимают про пишущую машинку, приравниваются к технарям. И наоборот.

Comments

[lj-frank-bot.livejournal.com]

Hello!
LiveJournal categorization system detected that your entry belongs to the following categories: Коронавирус (https://www.livejournal.com/category/koronavirus?utm_source=frank_comment), Медицина (https://www.livejournal.com/category/medicina?utm_source=frank_comment), Общество (https://www.livejournal.com/category/obschestvo?utm_source=frank_comment).
If you think that this choice was wrong please reply this comment. Your feedback will help us improve system.
Frank,
LJ Team

[sova-f.livejournal.com]

Прав, дружище!

[natali-ya.livejournal.com]

Очень интересно!

[sova-f.livejournal.com]

Вот, открыла Америку и делюсь с народом )

[phd_ru]

[motek.livejournal.com]

Да, та запись Аввы очень впечатляет. В первый раз она мне не особо запомнилась, а вот сейчас... ))

[sova-f.livejournal.com]

Основополагающая запись. Полезно повторять каждые семь лет )

[ottikubo.livejournal.com]

[nebotticelli-xl.livejournal.com]

[nebotticelli-xl.livejournal.com]

Темный аз — впервые узнал про пишмашинку киллиана. действительно, хорошая иллюстрация к разным типам мышления. Еще не элоки и морлои, но шаг в этом направлении.
И расхождение усиливается. Классические гуманитарии — просто светочи разума на фоне публики с мусорных факультетов. всех этих расовых "наук", генгдерных "наук" и т.п.

[sova-f.livejournal.com]

Кстати, да. О втором я как-то не задумывалась, а ведь точно.

[sewa7.livejournal.com]

[dyrbulschir.livejournal.com]

ладно тебе, бывают и гуманитарии, которые любят математику и способны понять парадокс Симпсона)

[sova-f.livejournal.com]

Пост до конца дочитала? )

[notabler.livejournal.com]

[bruxelloise-ru.livejournal.com]

[rider3099.livejournal.com]

Ух ты! Очень интересно

[sova-f.livejournal.com]

Усложнение жизни )

[gingema]

История о пишущей машинке очень печальна. Сегодня, 17 лет спустя, мы видим, что люди "второго типа", которые не понимают простых фактов, не хотят в них вникать, и просто отмахиваются, — победили. Они, как писал Алон_68, объединились и стали единой силой. Потому что это, собственно — единственное, что они действительно умеют.

[sova-f.livejournal.com]

А я, как те, про которых пишет Утнапишти, отказываюсь это признавать :(

[kelevraa.livejournal.com]

Про динозавров там еще продолжение было:
- А почему же люди не свалились?
- Потому что они прикреплены к поликлиникам.

[sova-f.livejournal.com]

Ааа )) Гадоль!

...Хотя если подумать, куда им сваливаться, если Земля закрылась?

[vpervye1.livejournal.com]

Про машинку смешно. Есть такой "советский и российский математик, специалист в области многомерного вариационного исчисления, дифференциальной геометрии и топологии, теории групп и алгебр Ли, симплектической и компьютерной геометрии, теории гамильтоновых динамических систем", так у него вся история человечества началась в 18 веке.

[sova-f.livejournal.com]

Есть такой, да )
Лет 15 назад был очень популярен, а сейчас что-то давно о нем не слышала.

[z-u.livejournal.com]

:)))

ну развлекла, спасибо.
аж вспомнился замечательный Шерлок... :)

на самом деле, чтобы понять, что эти (и многие другие) "документы" — фальшивка, вовсе не обязательно было копаться в видах табачного пепла шрифтов (при этом не имея понятия о том, что Земля вращается вокруг Солнца, как Холмс), достаточно было просто быть "гуманитарием", понимать устройство современного общества, знать человеческую психологию и психологию масс, действие политических систем, СМИ и т.п., а также уметь логически мыслить. и все. :)

и вообще, подобные посты "про машинки", к сожалению, прекрасно демонстрируют кризис современного образования (и общества)...
ведь в классическое нормальное "гуманитарное" образование входят и логика, и философия, и общественные науки, и все, что дает возможность понимать современный мир, без непременных копаний в его винтиках. а главное — и то, что нынче вообще редкость, даже (и часто особенно) среди слишком доверяющих науке, статистике и прочей "дедукции" "технарей" — нормальное "гуманитарное" образование дает возможность видеть общую картину мира и общества, правильно понимать намерения и делать верные выводы.

хотя, на самом деле, уверена, что образование должно быть одно — полное и гармоничное.
и та же философия не просто так "идиотами"-предками считалась "матерью наук", ибо учит мыслить правильно. тогда и шрифты не понадобятся, чтобы фальшивку обнаружить (или что-то более важное).
а то у нас тут, как там в классической миниатюре у Райкина, все разбились на "специалистов по пуговицам" и "по рукавам". в результате, "к пуговицам претензий нет", а общий костюм общества ужасен и совершенно никуда не годен.

и я никоим образом не принижаю "технарей", их роль в обществе очень-очень важна (как и любых "инженеров бытия"), но произошедший в последние несколько веков перекос постепенно вознес их на такие безвоздушные высоты, где они чувствуют себя неуютно (и неспроста), потому постоянно пытаются оправдать свое там нахождение (в том числе, и всяческими регулярными спорами с травмированными этим перекосом и неуверенными в себе "гуманитариями", которые тоже, справедливости ради, уже не те, что раньше). однако у всего в мире — свое место, и наш нынешний человеческий мировой кризис, думаю, результат еще и того, что мы поколениями "режем кроликов в ванной и обедаем в кабинетах", и в головах у нас от этого — полная разруха. между тем, хотя без механиков корабль и потонет, но управляет им все-таки капитан.

в общем, не люблю я споров по принципу "что важнее — голова или ноги", все важно, если на своем месте.
и образование должно быть полным, вне зависимости от специальности.
когда-то давно вот не было таких, как сейчас, "технарей" и "гуманитариев", были просто (полно, гармонично и разносторонне) образованные люди (вне зависимости от специальности).

короче, пока в обществе главное — не учить (включая думать), лечить (включая души) и развивать (включая сердце и дух), а главное — уметь тасовать числа и играть в прочие "игры разума", будут нам и "пишущие машинки", и "шрифты", и еще много-много неприятных развлечений и пищи для споров и размежеваний... так мы никогда не станем единым организмом, к сожалению, пока у нас ноги идут не туда, куда говорит голова, глаза не видят, уши не слышат, голова спорит с руками, и все вместе — со внутренними органами. а наука, вместо того, чтобы быть на своем (кроме шуток, очень важном) месте, безраздельно царит в центральном храме. :(

[gingerat.livejournal.com]

Браво, замечательный текст!

[galka-psisa.livejournal.com]

Что поделать, если люди не понимают, что такое проценты.
И еще: чем человек меньше страдает от наличия интеллекта, тем меньше он способен понять свою ошибку.
Привет от Даннинга и Крюгера.

[sova-f.livejournal.com]

Даннинг и Крюгер вырываются вперед...

[digest.livejournal.com]

которые понимают про пишущую машинку, приравниваются к технарям

Если "технари" такие умные, почему же они такие бедные не рулят миром?
Почему миром правят исключительно гуманитарии?

А ответ очень простой: технарь, решивший техническую проблему, на 100% уверен, что решил проблему.
Но это почти всегда не так!
Пост про пишмашинку Киллиана это потрясающе точно демонстрирует.
Я хотел сначала написать много и красиво, но напишу кратко и чуток грубо, заранее прошу прощения.
Всем НАСРАТЬ была это пишущая машинка или Ворд.
Упорство на фальшивке было связано не с тем, что кто-то не увидел разницу в шрифтах. И ЦЕЛЬ была не в глупом упорстве на доверии фальшивке, а в умном манипулировании информацией!
Технарям все время кажется, что цель спора (ответ на вопрос) бинарна. А она далеко не.
И гуманитарий влегкую обыгрывает технаря, который с пеной у рта доказывает про размер шрифтов и межстрочные интервалы. А гуманитарию это по барабану, он может и сам прекрасно знать, что письмо — фальшивка. У него другая ЦЕЛЬ! Например, продержать информацию на слуху достаточно долго, чтобы повлиять на выборы.
Или вынудить противную сторону реагировать, а значит, вероятно, совершить ошибку.
Технарь этих третьего- четвертого порядка целей не видит и не увидит никогда.
Именно поэтому армией технарей управляют исключительно гуманитарии (с невероятно редкими исключениями из этого правила). А не наоборот.
И я, как 120% технарь, этот свой недостаток понимаю и принимаю (может меня гуманитарий укусил?). А многие технари его даже не понимают. Им и не надо.

А что до очень малых вероятностей, могу напомнить прекрасную математическую притчу (с которой у меня лично началась любовь к математике-науке) о не желающем принимать спор Математике о том, что 100 первых прохожих мимо его окна окажутся мужчинами. Технаря можно выудить на нужный манипулятору ложный выбор, если манипулятор знает алгоритм мышления технаря. Есть укушенные технарями гуманитарии, так те вообще звери. Вот они Тайное Еврейское Правительство и есть :-).

[z-u.livejournal.com]

насчет проблемы технарей — вот именно (в том числе).
уважаю.
а если Вас и покусал гуманитарий, то очень правильный. :)

[mrka.livejournal.com]

Как мне кажется, глупость и незнание математики — не всегда тождественны. Я не знаю математики, я гуманитарий. И что?

[sova-f.livejournal.com]

Ты поняла, что написано в первой части? Тогда "глупость" — не про тебя.

А люди, рассуждающие так:
Вот вам простая истина: 60% населения привито, 60% привитых среди больных – значит, больше болеют привитые!
и не желающие признать свою глупость — они, увы, глупы.

Гуманитарий или нет — неважно. Но гуманитариев во второй категории будет больше. Опять же, по духу или по профессии? Думаю, что корреляция довольно сильная.

[gingerat.livejournal.com]

Совушка, это просто пост открытий чудных. И про Симпсона, и про Киллиана.
И про Перельмана :)

[sova-f.livejournal.com]

Ой, а где Перельман?!

[gingeriana.livejournal.com]

[sari-s.livejournal.com]

Пост прекрасный. Очень интересно.
Но вот с грустью наблюдаю: теперь и ты против гуманитариев :-(

[sova-f.livejournal.com]

Н-ну... во-первых, против гуманитариев условных (см. название).

Во-вторых, не теперь, а давно — если речь идет о профессии, которую я бы хотела для своих детей, тут я солидарна с Аввой. Или хотя бы об умении логически мыслить. Другое дело, что дети нас об этом не спрашивают.

Пускай бы шли в писатели и историки только действительно талантливые люди. Кстати, историки еще как должны уметь логически мыслить. Ой, тут надо целую простыню писать, поток сознания. Стоп.

[crazy-reader.livejournal.com]

[(Anonymous)]

Объясните тупому, пожалуйста.
Вот это совершенно непонятно — "Те 60%, которые заболевшие, они в основном взялись не из тех 60%, а из этих 40%"
Допустим, 1000 человек, 600 привиты, 400 не привиты. (60% — 40%)
Теперь допустим, сто из них заболели.
Из этих 100 — 60 привиты, 40 — не привиты. (60% — 40 %).
То есть, из 600 привитых 60 (10%) заболели.
Из 400 непривитых болеют 40 (те же 10%).
Мне кажется, в том и вопрос, зачем в таком случае делать прививку, ведь процент заболевших тот же самый?
(наверное, надо сказать, что болезнь с прививкой протекает легче, не так ли?)
Андрей.

[scaredy-cat-333.livejournal.com]

> 60% привито, 40% непривито. Те 60%, которые заболевшие, они в основном взялись не из тех 60%, а из этих 40%.

Совушка ошиблась. При таком раскладе, действительно — прививка на вероятность заболеть не повлияла.

> Нечего делать, нам придётся жить в мире, где люди, не освоившие школьную математику, имеют возможность объединиться и заявить о себе как единая сила.

К счастью, они обычно ругаются между собой.

[mudravrik.livejournal.com]

У гуманитариев и у технарей разные blind spots. Не удивлюсь, если «моральный компас» у гуманитариев поточнее будет.

[dimorlus.livejournal.com]

А я — удивлюсь. Самый кровавые идеи придумали не технари.