Технологические аварии давно не редкость, но кто в них виноват?

Популярная механикаHi-Tech

Uber-сюрприз: “человеческий фактор” и аварии беспилотных автомобилей

Автор текста: Андрей Кузнецов

36493706b1df01a77abdcc042e919f2d.jpg
Waymo

Наша жизнь все больше насыщается технологиями. Технологические аварии давно не редкость. Как понимать эти события? Кто виноват? И что делать? Есть популярное объяснение аварий через отсылку к “человеческому фактору”. В этом материале мы покажем, что это объяснение не только ошибочное, но и вредное. Часто такие объяснения дают, чтобы ничего не делать, ничего не менять в политике технологий.

В противовес этому мы на примере беспилотных автомобилей предложим другой способ понимания технологических аварий.

Центр исследований науки и технологий Европейского университета в Санкт-Петербурге совместно с Факультетом технологического менеджмента и инноваций Университета ИТМО делает уникальную для России магистратуру “Технонаука и инновации”. В рамках этой образовательной программы мы готовим исследователей наук, технологий и инноваций, спрос на которых растет по мере технологизации нашей жизни. Мы учим думать о технологиях по-новому, по-современному, чтобы помочь сделать их не только чуть более надежными и эффективными, но и более справедливыми, устойчивыми и социально ориентированными.

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к “человеческому фактору”. Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через “человеческий фактор” на практике.

“Человеческий фактор” в объяснении небольшого инцидента с Waymo в Сан-Франциско

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

81777ea3c6f07c1d82eab60a267cbca2.jpg
ANDREI STANESCU/ALAMY

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Что обсуждают члены сообщества Reddit?

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Кто виноват в столкновении - “компьютер” Waymo или водитель?

Пользователи дают несколько объяснений аварии через “человеческий фактор”, в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой “прозорливости” беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Резюмируем: проблема, скорее всего, в водителе. Автоматика сделала правильный выбор. Все это говорит о том, что компьютер очень мало или вообще не способствовал возникновению этого инцидента. Waymo просто нужно исправить некоторые баги, которые иногда приводят [беспилотный автомобиль] к путанице или делают его слишком нерешительным.

Один из самых заплюсованных комментариев утверждает: “Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле”.

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Что показывает этот пример?

  • Даже в такой, с виду простой, ситуации вовсе не очевидно, что именно произошло. Требуется интеллектуальная работа, чтобы понять и объяснить аварию. В данном случае, ее провели пользователи Reddit.
  • Участники дискуссии несколькими разными способами пытались перенести вину за происшествие с “компьютеров” Waymo на водителя-испытателя. Эту схему интерпретации мы назвали "объяснением технологической аварии через человеческий фактор”. Единственная попытка оправдать водителя исходит от пользователя, непосредственно знакомого с подобными ситуациями изнутри.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стоит ли бояться применения искусственного интеллекта в медицинской диагностике Стоит ли бояться применения искусственного интеллекта в медицинской диагностике

Что такое ИИ и как он применяется в медицинской диагностике?

Популярная механика
Они признались: звезды, сделавшие пластику и долго ее скрывавшие Они признались: звезды, сделавшие пластику и долго ее скрывавшие

Была операция или нет? Была, ответили знаменитости.

VOICE
Исследование: только в 1% статей об экономике можно встретить комментарии предпринимательниц Исследование: только в 1% статей об экономике можно встретить комментарии предпринимательниц

Женщины реже, чем мужчины, выступают как эксперты в материалах российских СМИ

Forbes
Виктор Началов. Колыбельная для дочки Виктор Началов. Колыбельная для дочки

История Юлии Началовой, рассказанная ее отцом

Коллекция. Караван историй
Любимые женщины звезд комедии «Ночная смена»: Яглыча, Деревянко, Глушко и других Любимые женщины звезд комедии «Ночная смена»: Яглыча, Деревянко, Глушко и других

Актеры фильма «Ночная смена» связали свою жизнь с яркими девушками

Cosmopolitan
Исторический выбор: что происходило до и после того, как были сделаны легендарные фотографии агентства Magnum Исторический выбор: что происходило до и после того, как были сделаны легендарные фотографии агентства Magnum

Историк фотографии Михаил Сидлин объясняет, чем именно ценны эти снимки

Esquire
Как микробы исправляют ошибки человека и очищают Землю от тяжелых металлов Как микробы исправляют ошибки человека и очищают Землю от тяжелых металлов

Микробы настолько умны, что научились использовать металлы для выработки энергии

Популярная механика
Дмитрий Бычков и Варвара Шаталова: Дмитрий Бычков и Варвара Шаталова:

Дмитрий Бычков и Варвара Шаталова — о скалолазании и любви

Караван историй
Генетический анализ инструментов новокаледонских воронов помог выявить их любимое дерево Генетический анализ инструментов новокаледонских воронов помог выявить их любимое дерево

Представители разных популяция ворон делают инструменты из разных материалов

N+1
Чучхе навсегда: все, что нужно знать о Северной Корее Чучхе навсегда: все, что нужно знать о Северной Корее

Правительственный эксперимент Северной Кореи

Maxim
Никогда не поздно: 7 всемирно известных писателей, дебютировавших в зрелом возрасте Никогда не поздно: 7 всемирно известных писателей, дебютировавших в зрелом возрасте

Эти признанные мастера начали карьеру романистов после 30 лет

Вокруг света
Квас, кефир, валерьянка и другое: как это влияет на алкотестеры ГИБДД Квас, кефир, валерьянка и другое: как это влияет на алкотестеры ГИБДД

Какая еда и напитки опасны и могут привести к лишению прав?

РБК
Эко-арт: как искусство меняет отношение к проблемам экологии Эко-арт: как искусство меняет отношение к проблемам экологии

Красивая борьба за природу

Playboy
Что делать, если потерял номера: можно ли ехать и как не получить штраф Что делать, если потерял номера: можно ли ехать и как не получить штраф

Можно ли выезжать на дорогу без номеров, что делать, если его оторвало в пути?

РБК
Гусеницы на плодах томатов вызвали электрическую активность в плодоножках Гусеницы на плодах томатов вызвали электрическую активность в плодоножках

Растения томатов отреагировали на появление травоядных гусениц на плодах

N+1
Вселенная слышит тебя: сериалы о гадалках, медиумах и потустороннем мире Вселенная слышит тебя: сериалы о гадалках, медиумах и потустороннем мире

Чем загадочнее, тем лучше — вот девиз нашей подборки сериалов

Cosmopolitan
Между самолетом и вертолетом: как устроен и сколько стоит автожир Между самолетом и вертолетом: как устроен и сколько стоит автожир

Эра летающих автомобилей еще не пришла, но аналогом им может выступить автожир

CHIP
Эту команду не спасти: чего добивалась наша сборная по футболу при каждом из 13 тренеров с 1992 года до сих пор Эту команду не спасти: чего добивалась наша сборная по футболу при каждом из 13 тренеров с 1992 года до сих пор

Похоже, что в неудачах наших футболистов они виноваты меньше всего

Maxim
Агония под музыку: как проходили танцевальные марафоны в США Агония под музыку: как проходили танцевальные марафоны в США

Первый танцевальный марафон был проведен в США в 1909 году

Cosmopolitan
«Тед Лассо»: почему ты обязательно должна посмотреть сериал про футбол «Тед Лассо»: почему ты обязательно должна посмотреть сериал про футбол

«Тед Лассо» — сериал про любовь и доброту, который должна посмотреть каждая

Cosmopolitan
Как вдохновляться на неинтересные дела Как вдохновляться на неинтересные дела

Найти вдохновение на дела, которые совсем не хочется делать

VC.RU
«Перед чебуреками все были равны». Как закрылась самая известная чебуречная в Москве «Перед чебуреками все были равны». Как закрылась самая известная чебуречная в Москве

Почему из-за закрытия чебуречной с маргинальным флером забеспокоились москвичи

СНОБ
Невеста пригласила на свадьбу бывшую своего жениха, и та испортила праздник Невеста пригласила на свадьбу бывшую своего жениха, и та испортила праздник

Чем может обернуться идея позвать бывших партнеров на свадьбу?

Psychologies
В некрополях Кембриджшира нашли казненных древнеримских преступников В некрополях Кембриджшира нашли казненных древнеримских преступников

Археологи исследовали останки людей IV века нашей эры с фермы Кнобба

N+1
Наездники: монстры, удивившие Дарвина Наездники: монстры, удивившие Дарвина

Паразиты, которые делают из своих хозяев зомби — наездники

Вокруг света
Жареные лисички Жареные лисички

Как готовить жареные лисички

Weekend
«Не место высоких достижений, а удовольствие для всех»: почему спорт в России должен быть доступен каждому «Не место высоких достижений, а удовольствие для всех»: почему спорт в России должен быть доступен каждому

Почему важна инклюзия и вовлечение девочек и женщин в командные виды спорта?

Forbes
У всех бывают плохие дни, или История клинической депрессии. Отрывок из книги Бинни Киршенбаум У всех бывают плохие дни, или История клинической депрессии. Отрывок из книги Бинни Киршенбаум

Отрывок из правдивого, жестокого романа Бинни Киршенбаум о клинической депрессии

СНОБ
Что написано на заборе Что написано на заборе

Источники, стоимость, побочные эффекты и последствия советских лозунгов

Weekend
5 самых мудрых знаков зодиака: дадут совет и прикроют в сложной ситуации 5 самых мудрых знаков зодиака: дадут совет и прикроют в сложной ситуации

Мудрость – такое качество, которое можно трактовать по-разному

Cosmopolitan
Открыть в приложении