Отрывок из книги «Полный бред! Скептицизм в мире больших данных»

N+1Наука

«Полный бред! Скептицизм в мире больших данных». Как относиться к получаемой информации критически

Манн, Иванов и Фербер, научно-популярные книгоиздатели

Если кто-то подкрепляет утверждения затейливыми терминами, цифрами и красивыми графиками, это еще не значит, что ему можно доверять. Статистика и язык точных наук могут быть всего лишь инструментами, призванными скрыть обман. Тот, кто умеет анализировать и перепроверять информацию, скорее всего, заметит подвох — остальные рискуют попасться в ловушку. В книге «Полный бред! Скептицизм в мире больших данных» (издательство «Манн, Иванов и Фербер»), переведенной на русский Елизаветой Пономаревой, ученые Карл Бергстром и Джевин Уэст рассказывают, как распознать чушь (в оригинале — bullshit) и почему для этого совсем не обязательно быть специалистом, а достаточно воспользоваться обыкновенной логикой. Предлагаем вам ознакомиться с фрагментом, посвященным «ошибке прокурора» и уровню значимости (p-value).

Ошибка прокурора

Как мы видели, в большинстве научных исследований ищут закономерности в данных, позволяющие делать выводы о мире. Но как отличить закономерность от случайного шума? И как определить, насколько она значима? Существует несколько способов это сделать, и самый распространенный — это использование р-значения. Грубо говоря, р-значение указывает, насколько вероятно, что наблюдаемая закономерность возникла по чистой случайности. Если это маловероятно, то мы можем сказать, что результат статистически значим. Но что это на самом деле означает и как нам трактовать р-значение? Мы ответим на эти вопросы с помощью короткой истории.

Представьте, что вы известный адвокат, который защищает скромного биолога, обвиняемого в самом поразительном похищении предмета искусства в современной истории.

Это сенсационное преступление. Богатая собирательница отправила частную коллекцию из тридцати шедевров европейского искусства на охраняемом поезде из своего особняка в Санта-Кларе в аукционный дом в Нью-Йорке. Когда поезд достиг пункта назначения, коробки отнесли в аукционный дом для распаковки. Путешествие прошло без происшествий, и к коробкам, на первый взгляд, никто не прикасался. Но, к всеобщему ужасу, четыре самые ценные картины были вырезаны из рам и исчезли! Ни полиция, ни страховая компания не нашли ни единой улики, не считая единственного отпечатка пальца на раме одной из пропавших работ. Украденные шедевры так никогда и не отыскали.

При отсутствии каких-либо иных наметок полиция прогнала от печаток пальца через огромную базу данных ФБР и нашла совпадение — отпечаток вашего клиента. (Он сдал свои отпечатки Администрации транспортной безопасности в обмен на возможность проходить досмотр в аэропорту, не снимая ботинок.) На допросе выяснилось, что у вашего клиента нет алиби. Он утверждает, что ни с кем не контактировал две недели, пока выслеживал окольцованную куропатку в горах Высокая Сьерра в рамках научного проекта.

Несмотря на отсутствие алиби, вы уверены, что ваш клиент не может быть виновен. Он всего лишь застенчивый ученый, а не хладнокровный похититель шедевров. У него уже есть два гранта NSF на исследование размножения куропаток, и, похоже, он не нуждается в дополнительных источниках дохода. К тому же, насколько вы заметили, он ни черта не понимает в искусстве; да что там, он считает, что Донателло — это черепашка-ниндзя.

Тем не менее начинается судебный процесс, и вы сталкиваетесь с блестящей молодой звездой прокуратуры. После описания всех остальных доказательств вины вашего клиента — слабых и косвенных — прокурор переходит к своему козырю, отпечатку пальца. Прокурор рассказывает присяжным, как именно компьютер сопоставляет отпечатки пальцев, и завершает свое выступление словами: «Нет абсолютно никаких шансов случайного совпадения настолько идентичных отпечатков».

Вы опровергаете его заявление: «По вашим словам, нет абсолютно никаких шансов настолько точного совпадения. Но так не бывает. В каждом тесте есть по крайней мере небольшой шанс ошибки». — «Конечно, — уступает он, — в принципе, тесты могут ошибаться. Но на практике шанс, что это случится, нулевой. Исследования ФБР показывают, что существует один шанс на десять миллионов, что два отпечатка совпадут настолько же точно. Один на десять миллионов — тут нет места сомнениям!»

Именно этого вы и ждали. Вы обращаетесь к присяжным и рисуете таблицу на три строки и два столбца на большом листе бумаги. Выглядит она примерно вот так.

«Я думаю, все мы согласны, что это преступление было кем-то совершено. И давайте также предположим, что отпечатки виновного есть в базе данных. Может быть, и нет, — обращаетесь вы к прокурору, — но это ослабит ваши доказательства. Так что давайте предположим, что они есть в базе». Прокурор кивает. «Тогда таблица должна выглядеть примерно вот так». Вы заполняете верхний ряд большим красным маркером.

Повернувшись к прокурору, вы интересуетесь: «Сколько человек включены в эту вашу базу ФБР?» Он перебивает вас: «Возражение, Ваша честь! Какое отношение это имеет к делу?» — «В этом и есть вся суть дела, — объясняете вы. — Я убежден, что объясню это все в течение следующих нескольких минут». — «Возражение отклонено». Сторона обвинения признается, что, если учесть все отпечатки пальцев преступников в США, все отпечатки гражданских лиц, полученные при проверке их биографий, и все отпечатки из базы Администрации транспортной безопасности, в базе представлено приблизительно пятьдесят миллионов американцев. И конечно, большинство отпечатков в базе не совпадают с тем, что найден на раме.

«Итак, теперь мы можем заполнять таблицу дальше», — говорите вы и вписываете число 50 000 000 в нижний правый угол.

Теперь вы указываете на нижний левый угол (это невиновные люди, чьи отпечатки тем не менее совпадут с найденным) и спрашиваете: «Как вы думаете, что нужно вписать сюда?»

Вы смотрите прямо на прокурора. «Вы сказали, что существует один шанс на десять миллионов, что алгоритм нашел неправильное совпадение. Это значит, что среди пятидесяти миллионов человек в этой базе должно быть примерно пять, чьи отпечатки совпадают с найденным и на месте преступления. Так что давайте заполним таблицу следующим образом»

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Тайные безумцы Российской империи XVIII века» «Тайные безумцы Российской империи XVIII века»

Как органы политического сыска ставили диагнозы

N+1
Летающие мотоциклы, робот-хирург и механические птицы. За кем сейчас стоит наблюдать в области новых технологий? Летающие мотоциклы, робот-хирург и механические птицы. За кем сейчас стоит наблюдать в области новых технологий?

Инженер Илья Чех – об изобретениях, которые изменят нашу жизнь уже завтра

СНОБ
Новая модель показала, что Арктика освободится от летнего льда к середине века Новая модель показала, что Арктика освободится от летнего льда к середине века

Что повлечет за собой таяние береговых льдов в Арктике?

ТехИнсайдер
Магическое 3 августа: почему каждый год Энн Хэтэуэй откладывает все ради личного ритуала Магическое 3 августа: почему каждый год Энн Хэтэуэй откладывает все ради личного ритуала

Что же делает Энн Хэтэуэй 21 год подряд?

VOICE
Шаги на чердаке: жуткая история о нераскрытом убийстве в Хинтеркайфеке Шаги на чердаке: жуткая история о нераскрытом убийстве в Хинтеркайфеке

Более 100 лет назад на ферме Андреаса Грубера произошла страшная трагедия

ТехИнсайдер
10 крайне выносливых автомобилей, способных пересечь пустыню 10 крайне выносливых автомобилей, способных пересечь пустыню

Внедорожники и пикапы всех мастей, которые смогут пересечь пустыню

ТехИнсайдер
Алкомаркеты пустые, проезд в метро — 6 рублей: впечатления россиянина от жизни в Ташкенте Алкомаркеты пустые, проезд в метро — 6 рублей: впечатления россиянина от жизни в Ташкенте

Переехавший из Новосибирска рассказал, чем живет среднеазиатский мегаполис

Вокруг света
Негативные мысли: найти и обезвредить Негативные мысли: найти и обезвредить

Как найти причины проблем в прошлом и научиться заменять токсичные мысли

Psychologies
Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть Строим автомобиль для ралли-рейда: зачем спорткарам нужен каркас безопасности и каким он должен быть

Как построить каркас безопасности для спортивных классов N2?

ТехИнсайдер
Удар хватил: 5 российских правителей, которых подкосил инсульт Удар хватил: 5 российских правителей, которых подкосил инсульт

Болезнь, которая не обходит стороной ни бедняков, ни государей

Вокруг света
3 проверенных способа начать делать то, что не хочется 3 проверенных способа начать делать то, что не хочется

Вам очень не хочется приступать к важному делу?

Psychologies
Китайская домохозяйка 10 лет писала в Википедии фейковые статьи о России: что это было? Китайская домохозяйка 10 лет писала в Википедии фейковые статьи о России: что это было?

Миллионы китайцев верили в существование серебряного рудника Кашин в России

Psychologies
Что у Китая с Тайванем? Что у Китая с Тайванем?

Почему Китайская Народная Республика и Китайская Республика не дружат?

Maxim
Физики смоделировали лавину из фруктов на прилавке Физики смоделировали лавину из фруктов на прилавке

Физики исследовали образование лавин в монослое сфер в наклоненном лотке

N+1
Да здравствует абсурд: 10 запоминающихся заявлений на суде Джонни Деппа и Эмбер Херд Да здравствует абсурд: 10 запоминающихся заявлений на суде Джонни Деппа и Эмбер Херд

Шестилетняя схватка Джонни Деппа и Эмбер Херд завершилась

Правила жизни
Классика для жизни Классика для жизни

«Следовать за мыслями великого человека есть наука самая занимательная»

Seasons of life
Ремонт без хлопот: Будь проще и… сэкономишь Ремонт без хлопот: Будь проще и… сэкономишь

От чего следует отказаться, чтобы снизить затраты на ремонт

Лиза
Каким получился «Род мужской» Алекса Гарленда — жуткий хоррор о дурных мужчинах Каким получился «Род мужской» Алекса Гарленда — жуткий хоррор о дурных мужчинах

Кинокритик Илья Верхоглядов размышляет о фильме «Род мужской» Алекса Гарленда

Правила жизни
Появление керамики у древних жителей Латвии не сказалось на продолжительности грудного вскармливания Появление керамики у древних жителей Латвии не сказалось на продолжительности грудного вскармливания

Биоархеологи провели исследование зубов людей из могильника эпохи мезолита

N+1
Когда надежды были большими Когда надежды были большими

Что нам осталось от Виктора Цоя

Weekend
Как живет сегодня девочка из скандального клипа певицы Sia, которую считали жертвой из-за полуголых танцев Шайи Лабефа Как живет сегодня девочка из скандального клипа певицы Sia, которую считали жертвой из-за полуголых танцев Шайи Лабефа

Как Мэдди Зиглер оценивает свой опыт съемок для видео Elastic Heart

VOICE
Лошади из мавзолея Цинь Шихаунди оказались высокими взрослыми самцами Лошади из мавзолея Цинь Шихаунди оказались высокими взрослыми самцами

Для погребального ритуала первого императора Цинь отбирались высокие жеребцы

N+1
Коллаборация Daya Bay перевыполнила план по точности измерения смешивания антинейтрино Коллаборация Daya Bay перевыполнила план по точности измерения смешивания антинейтрино

Физики изучают вопрос асимметрии между веществом и антивеществом во Вселенной

N+1
«Дух дурения»: как жили коренные народы Сибири и шаманы «Дух дурения»: как жили коренные народы Сибири и шаманы

Сибирская история полна страстей и самоотверженности. И знать ее необходимо

Вокруг света
Правила жизни Льва Гумилева Правила жизни Льва Гумилева

Советский ученый, историк, писатель, создатель пассионарной теории этногенеза

Правила жизни
Физики напрямую измерили магнитный момент иона гелия-3 Физики напрямую измерили магнитный момент иона гелия-3

Новые данные могут превратить гелий-3 в абсолютный магнитометрический стандарт

N+1
Назвали в честь россиянки: в Якутии впервые нашли шипоноску, которая жила в одно время с динозаврами Назвали в честь россиянки: в Якутии впервые нашли шипоноску, которая жила в одно время с динозаврами

Сибирский янтарь хранит еще немало тайн, уверены ученые

Вокруг света
Повторить пройденное: как киноиндустрия 1990-х влияет на вкусы россиян сегодня Повторить пройденное: как киноиндустрия 1990-х влияет на вкусы россиян сегодня

По каким законам жил российский кинорынок в 1990-х

Forbes
Черный дым из выхлопной трубы: причины и способы их устранения Черный дым из выхлопной трубы: причины и способы их устранения

О каких «заболеваниях» ДВС свидетельствует черный дым?

РБК
Нетворкинг и устойчивость: кому нужны специальные женские программы MBA Нетворкинг и устойчивость: кому нужны специальные женские программы MBA

Женщины стали чаще получать степень MBA

Forbes
Открыть в приложении