Отрывок из книги «Полный бред! Скептицизм в мире больших данных»

N+1Наука

«Полный бред! Скептицизм в мире больших данных». Как относиться к получаемой информации критически

Манн, Иванов и Фербер, научно-популярные книгоиздатели

Если кто-то подкрепляет утверждения затейливыми терминами, цифрами и красивыми графиками, это еще не значит, что ему можно доверять. Статистика и язык точных наук могут быть всего лишь инструментами, призванными скрыть обман. Тот, кто умеет анализировать и перепроверять информацию, скорее всего, заметит подвох — остальные рискуют попасться в ловушку. В книге «Полный бред! Скептицизм в мире больших данных» (издательство «Манн, Иванов и Фербер»), переведенной на русский Елизаветой Пономаревой, ученые Карл Бергстром и Джевин Уэст рассказывают, как распознать чушь (в оригинале — bullshit) и почему для этого совсем не обязательно быть специалистом, а достаточно воспользоваться обыкновенной логикой. Предлагаем вам ознакомиться с фрагментом, посвященным «ошибке прокурора» и уровню значимости (p-value).

Ошибка прокурора

Как мы видели, в большинстве научных исследований ищут закономерности в данных, позволяющие делать выводы о мире. Но как отличить закономерность от случайного шума? И как определить, насколько она значима? Существует несколько способов это сделать, и самый распространенный — это использование р-значения. Грубо говоря, р-значение указывает, насколько вероятно, что наблюдаемая закономерность возникла по чистой случайности. Если это маловероятно, то мы можем сказать, что результат статистически значим. Но что это на самом деле означает и как нам трактовать р-значение? Мы ответим на эти вопросы с помощью короткой истории.

Представьте, что вы известный адвокат, который защищает скромного биолога, обвиняемого в самом поразительном похищении предмета искусства в современной истории.

Это сенсационное преступление. Богатая собирательница отправила частную коллекцию из тридцати шедевров европейского искусства на охраняемом поезде из своего особняка в Санта-Кларе в аукционный дом в Нью-Йорке. Когда поезд достиг пункта назначения, коробки отнесли в аукционный дом для распаковки. Путешествие прошло без происшествий, и к коробкам, на первый взгляд, никто не прикасался. Но, к всеобщему ужасу, четыре самые ценные картины были вырезаны из рам и исчезли! Ни полиция, ни страховая компания не нашли ни единой улики, не считая единственного отпечатка пальца на раме одной из пропавших работ. Украденные шедевры так никогда и не отыскали.

При отсутствии каких-либо иных наметок полиция прогнала от печаток пальца через огромную базу данных ФБР и нашла совпадение — отпечаток вашего клиента. (Он сдал свои отпечатки Администрации транспортной безопасности в обмен на возможность проходить досмотр в аэропорту, не снимая ботинок.) На допросе выяснилось, что у вашего клиента нет алиби. Он утверждает, что ни с кем не контактировал две недели, пока выслеживал окольцованную куропатку в горах Высокая Сьерра в рамках научного проекта.

Несмотря на отсутствие алиби, вы уверены, что ваш клиент не может быть виновен. Он всего лишь застенчивый ученый, а не хладнокровный похититель шедевров. У него уже есть два гранта NSF на исследование размножения куропаток, и, похоже, он не нуждается в дополнительных источниках дохода. К тому же, насколько вы заметили, он ни черта не понимает в искусстве; да что там, он считает, что Донателло — это черепашка-ниндзя.

Тем не менее начинается судебный процесс, и вы сталкиваетесь с блестящей молодой звездой прокуратуры. После описания всех остальных доказательств вины вашего клиента — слабых и косвенных — прокурор переходит к своему козырю, отпечатку пальца. Прокурор рассказывает присяжным, как именно компьютер сопоставляет отпечатки пальцев, и завершает свое выступление словами: «Нет абсолютно никаких шансов случайного совпадения настолько идентичных отпечатков».

Вы опровергаете его заявление: «По вашим словам, нет абсолютно никаких шансов настолько точного совпадения. Но так не бывает. В каждом тесте есть по крайней мере небольшой шанс ошибки». — «Конечно, — уступает он, — в принципе, тесты могут ошибаться. Но на практике шанс, что это случится, нулевой. Исследования ФБР показывают, что существует один шанс на десять миллионов, что два отпечатка совпадут настолько же точно. Один на десять миллионов — тут нет места сомнениям!»

Именно этого вы и ждали. Вы обращаетесь к присяжным и рисуете таблицу на три строки и два столбца на большом листе бумаги. Выглядит она примерно вот так.

«Я думаю, все мы согласны, что это преступление было кем-то совершено. И давайте также предположим, что отпечатки виновного есть в базе данных. Может быть, и нет, — обращаетесь вы к прокурору, — но это ослабит ваши доказательства. Так что давайте предположим, что они есть в базе». Прокурор кивает. «Тогда таблица должна выглядеть примерно вот так». Вы заполняете верхний ряд большим красным маркером.

Повернувшись к прокурору, вы интересуетесь: «Сколько человек включены в эту вашу базу ФБР?» Он перебивает вас: «Возражение, Ваша честь! Какое отношение это имеет к делу?» — «В этом и есть вся суть дела, — объясняете вы. — Я убежден, что объясню это все в течение следующих нескольких минут». — «Возражение отклонено». Сторона обвинения признается, что, если учесть все отпечатки пальцев преступников в США, все отпечатки гражданских лиц, полученные при проверке их биографий, и все отпечатки из базы Администрации транспортной безопасности, в базе представлено приблизительно пятьдесят миллионов американцев. И конечно, большинство отпечатков в базе не совпадают с тем, что найден на раме.

«Итак, теперь мы можем заполнять таблицу дальше», — говорите вы и вписываете число 50 000 000 в нижний правый угол.

Теперь вы указываете на нижний левый угол (это невиновные люди, чьи отпечатки тем не менее совпадут с найденным) и спрашиваете: «Как вы думаете, что нужно вписать сюда?»

Вы смотрите прямо на прокурора. «Вы сказали, что существует один шанс на десять миллионов, что алгоритм нашел неправильное совпадение. Это значит, что среди пятидесяти миллионов человек в этой базе должно быть примерно пять, чьи отпечатки совпадают с найденным и на месте преступления. Так что давайте заполним таблицу следующим образом»

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы отыскали экстремально яркие события разрыва звезд сверхмассивными черными дырами Астрономы отыскали экстремально яркие события разрыва звезд сверхмассивными черными дырами

Астрономы описали класс рекордно ярких транзиентов

N+1
Терраформирование Марса: можно ли превратить в оазис пески Красной планеты? Терраформирование Марса: можно ли превратить в оазис пески Красной планеты?

Насколько реально терраформирование Красной планеты

ТехИнсайдер
Разработана первая вакцина от птичьего гриппа для коров Разработана первая вакцина от птичьего гриппа для коров

Ученые разработали первую мРНК-вакцину от птичьего гриппа для коров

ТехИнсайдер
Движение вверх Движение вверх

Мастопексия — «интеллигентная» операция по подтяжке груди

Собака.ru
Антиоксиданты: зачем они нужны и где их искать Антиоксиданты: зачем они нужны и где их искать

Какие продукты стоит внести в меню, чтобы поддерживать тело в тонусе?

Правила жизни
Империя — страна для дураков: как «Поколение 98 года» пыталось спасти Испанию после краха четырехсотлетней империи Империя — страна для дураков: как «Поколение 98 года» пыталось спасти Испанию после краха четырехсотлетней империи

Историю «поколения 1898 года»: что эти люди сделали для Испании?

Правила жизни
Самые опасные виды туризма в России Самые опасные виды туризма в России

От чего надо держаться подальше в процессе активного отдыха?

Maxim
Напоить сайгака Напоить сайгака

Удастся ли сохранить сайгаков?

Вокруг света
Друг Врубеля и кумир Дягилева: как собирал свою коллекцию меценат Михаил Морозов Друг Врубеля и кумир Дягилева: как собирал свою коллекцию меценат Михаил Морозов

Отрывок из монографии «Коллекции Ивана и Михаила Морозовых»

Forbes
В год около 100 переездов: 10 фактов, которые удивляют в жизни оленеводов на Ямале В год около 100 переездов: 10 фактов, которые удивляют в жизни оленеводов на Ямале

Представители малых народов совмещают традиции и современные технологии

Вокруг света
И посмотреть, и почитать: 7 удачных экранизаций книг — сериалы, которые вам стоит увидеть И посмотреть, и почитать: 7 удачных экранизаций книг — сериалы, которые вам стоит увидеть

В руках талантливого режиссера некоторые книжные сюжеты получают новое прочтение

Правила жизни
Танатофобия: что такое страх смерти и как с ним бороться Танатофобия: что такое страх смерти и как с ним бороться

Почему у некоторых людей любое упоминание смерти вызывает панику и тревожность?

РБК
«Где стол был яств, там гроб стоит»: как в «Опасных связях» мертвое вытесняет живое «Где стол был яств, там гроб стоит»: как в «Опасных связях» мертвое вытесняет живое

Спектакль «Опасные связи» — один большой натюрморт, где все пожирают друг друга

Forbes
Загар и родинки Загар и родинки

В ожидании пляжного сезона любые «отметины» на теле вызывают опасения

Лиза
Бегунок Бегунок

Кирилл сбегал из детского дома в жару и лютый мороз

СНОБ
Как найти IT-специалистов, когда вокруг все горит Как найти IT-специалистов, когда вокруг все горит

Как грамотно хантить IT-специалистов и какие еще актуальные уловки использовать

Inc.
На озеро вместо моря На озеро вместо моря

А что, если поменять море на озеро?

Лиза
Как правильно начать день, чтобы не сильно устать к вечеру: 8 важных советов Как правильно начать день, чтобы не сильно устать к вечеру: 8 важных советов

Как повысить продуктивность с самого утра?

Psychologies
Как сломать сценарий отношений, который заставляет нас страдать? Как сломать сценарий отношений, который заставляет нас страдать?

Как побороть зависимость от определенного типа отношений

Psychologies
Как братья-миллиардеры превратили стартап Stripe в «единорога» стоимостью $95 млрд Как братья-миллиардеры превратили стартап Stripe в «единорога» стоимостью $95 млрд

Братья-миллиардеры превратили Stripe в один из самых прибыльных стартапов

Forbes
Палеоантропологи обнаружили в Колыбели человечества 15 зубов парантропов Палеоантропологи обнаружили в Колыбели человечества 15 зубов парантропов

Палеоантропологи исследовали зубы, обнаруженные в комплексе пещер Дримолен

N+1
«Кокуйский патриарх» «Кокуйский патриарх»

Подьячий Никита Зотов — самая противоречивая фигура в окружении царевича Петра

Дилетант
Новые кошачьи породы, которые вот-вот станут самыми модными Новые кошачьи породы, которые вот-вот станут самыми модными

Коты и кошки не стоят на месте. Уверяем, что таких диковинных ты еще не видел!

Maxim
Марина Яковлева: «Я сказала Джигарханяну «Нет! Останемся друзьями» Марина Яковлева: «Я сказала Джигарханяну «Нет! Останемся друзьями»

Моя мама была суровой. Я ее и любила, и боялась

Караван историй
Энтомологи усомнились в скором вымирании монархов Энтомологи усомнились в скором вымирании монархов

Вопреки популярному мнению, бабочки монархи не находятся на грани вымирания

N+1
Солнечный удар: как не допустить и избавиться от последствий Солнечный удар: как не допустить и избавиться от последствий

Учимся предотвращать солнечный удар и помогать себе и близким

РБК
Экономьте деньги и места на спасательных шлюпках: гид по выживанию для стартапов Экономьте деньги и места на спасательных шлюпках: гид по выживанию для стартапов

Что делать, чтобы пережить тяжелые времена?

Forbes
Свободное владение оружием: четыре аргумента против и всего один — за Свободное владение оружием: четыре аргумента против и всего один — за

Право граждан на владение оружием — это добро или зло?

Maxim
«Вкус детства»: история «той самой» советской сгущёнки «Вкус детства»: история «той самой» советской сгущёнки

Когда появилась, какой была и стала «та самая» сгущёнка

Вокруг света
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Открыть в приложении