Технологические аварии давно не редкость, но кто в них виноват?

Популярная механикаHi-Tech

Uber-сюрприз: “человеческий фактор” и аварии беспилотных автомобилей

Автор текста: Андрей Кузнецов

36493706b1df01a77abdcc042e919f2d.jpg
Waymo

Наша жизнь все больше насыщается технологиями. Технологические аварии давно не редкость. Как понимать эти события? Кто виноват? И что делать? Есть популярное объяснение аварий через отсылку к “человеческому фактору”. В этом материале мы покажем, что это объяснение не только ошибочное, но и вредное. Часто такие объяснения дают, чтобы ничего не делать, ничего не менять в политике технологий.

В противовес этому мы на примере беспилотных автомобилей предложим другой способ понимания технологических аварий.

Центр исследований науки и технологий Европейского университета в Санкт-Петербурге совместно с Факультетом технологического менеджмента и инноваций Университета ИТМО делает уникальную для России магистратуру “Технонаука и инновации”. В рамках этой образовательной программы мы готовим исследователей наук, технологий и инноваций, спрос на которых растет по мере технологизации нашей жизни. Мы учим думать о технологиях по-новому, по-современному, чтобы помочь сделать их не только чуть более надежными и эффективными, но и более справедливыми, устойчивыми и социально ориентированными.

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к “человеческому фактору”. Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через “человеческий фактор” на практике.

“Человеческий фактор” в объяснении небольшого инцидента с Waymo в Сан-Франциско

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

81777ea3c6f07c1d82eab60a267cbca2.jpg
ANDREI STANESCU/ALAMY

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Что обсуждают члены сообщества Reddit?

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Кто виноват в столкновении - “компьютер” Waymo или водитель?

Пользователи дают несколько объяснений аварии через “человеческий фактор”, в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой “прозорливости” беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Резюмируем: проблема, скорее всего, в водителе. Автоматика сделала правильный выбор. Все это говорит о том, что компьютер очень мало или вообще не способствовал возникновению этого инцидента. Waymo просто нужно исправить некоторые баги, которые иногда приводят [беспилотный автомобиль] к путанице или делают его слишком нерешительным.

Один из самых заплюсованных комментариев утверждает: “Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле”.

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Что показывает этот пример?

  • Даже в такой, с виду простой, ситуации вовсе не очевидно, что именно произошло. Требуется интеллектуальная работа, чтобы понять и объяснить аварию. В данном случае, ее провели пользователи Reddit.
  • Участники дискуссии несколькими разными способами пытались перенести вину за происшествие с “компьютеров” Waymo на водителя-испытателя. Эту схему интерпретации мы назвали "объяснением технологической аварии через человеческий фактор”. Единственная попытка оправдать водителя исходит от пользователя, непосредственно знакомого с подобными ситуациями изнутри.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стоит ли бояться применения искусственного интеллекта в медицинской диагностике Стоит ли бояться применения искусственного интеллекта в медицинской диагностике

Что такое ИИ и как он применяется в медицинской диагностике?

Популярная механика
Как изменились звезды фильма «Сибирский цирюльник»: Меньшиков, Ормонд и другие Как изменились звезды фильма «Сибирский цирюльник»: Меньшиков, Ормонд и другие

Что произошло с актерами знаменитого фильма «Сибирский цирюльник»?

Cosmopolitan
Летающие машины и стеклянные дирижабли: о чем в детстве мечтали миллиардеры из списка Forbes Летающие машины и стеклянные дирижабли: о чем в детстве мечтали миллиардеры из списка Forbes

О чем мечтали миллиардеры, когда были маленькими

Forbes
Дикий соперник розы: где в России найти одно из самых красивых лекарственных растений Дикий соперник розы: где в России найти одно из самых красивых лекарственных растений

Пион — соперник розы, который завоевал сердца ценителей красоты по всеми миру

Вокруг света
5 документальных фильмов о спорте, которые стоит посмотреть на Netflix 5 документальных фильмов о спорте, которые стоит посмотреть на Netflix

Главные спортивные документалки от Netflix: про стероиды, НБА и многое другое

GQ
Тонкости создания собственного бренда и производства: история успеха Lelu Kids Тонкости создания собственного бренда и производства: история успеха Lelu Kids

Лена Лежнева делится опытом создания собственного успешного бренда

Cosmopolitan
Могут ли микробы, поедающие пластик, решить проблему утилизации Могут ли микробы, поедающие пластик, решить проблему утилизации

Биолог надеется найти микроорганизмы, которые помогут решить проблему утилизации

Популярная механика
Пляжный этикет: как одеваться на курорте — правила, о которых ты не знала Пляжный этикет: как одеваться на курорте — правила, о которых ты не знала

Как сохранить баланс между хорошим вкусом и желанием отдохнуть?

VOICE
По ком стучит дятел: 6 занимательных фактов о лесных птицах По ком стучит дятел: 6 занимательных фактов о лесных птицах

Болит ли у дятла голова? Почему он стучит по дереву?

Вокруг света
Свинячьи грибы, или маслята Свинячьи грибы, или маслята

Маслята — одни из самых собираемых грибов в России

Наука и жизнь
Почему домашнее задание вредит школьникам Почему домашнее задание вредит школьникам

Домашнее задание не всегда делает детей умнее

Популярная механика
В поисках ядерного буксира В поисках ядерного буксира

Почему ядерные корабли до сих пор не появились?

Популярная механика
5 стыдных вопросов про вакуумную бомбу 5 стыдных вопросов про вакуумную бомбу

Знаешь, что по мощности она уступает только ядерным зарядам?

Maxim
Зависть черная и белая: чем они различаются Зависть черная и белая: чем они различаются

Зависть: может ли чувство разделяться на негативное и позитивное?

Psychologies
10 способов справиться с осуждением и критикой 10 способов справиться с осуждением и критикой

Как защитить себя от деструктивной критики

Psychologies
Русский кантон: какие шедевры отечественной культуры были созданы в Швейцарии Русский кантон: какие шедевры отечественной культуры были созданы в Швейцарии

Крошечная Швейцария занимает огромное место в культуре России

Вокруг света
Драгоценный запас: что нужно знать о заморозке яйцеклеток Драгоценный запас: что нужно знать о заморозке яйцеклеток

Что нужно знать о заморозке яйцеклеток и кому она может понадобиться?

Cosmopolitan
10 эффективных способов избавиться от храпа 10 эффективных способов избавиться от храпа

Храп — проблема, из-за которой можно проснуться разбитым и чувствовать усталость

РБК
Когда твой парень — монстр: 10 фильмов о любви красавиц и чудовищ Когда твой парень — монстр: 10 фильмов о любви красавиц и чудовищ

Можно ли любить монстра? Можно, и легко!

Cosmopolitan
Оригинал или подделка? Как разобраться в сумках Louis Vuitton Оригинал или подделка? Как разобраться в сумках Louis Vuitton

Как отличить подделку от оригинала Louis Vuitton?

Cosmopolitan
Маниже — 30. Семь интересных фактов о певице Маниже — 30. Семь интересных фактов о певице

Cобрали самые интересные факты биографии Манижи

РБК
Отблагодарить по-свински Отблагодарить по-свински

Эти животные не раз жертвовали собой, спасая человечество от тяжелейших болезней

Вокруг света
Мысли о смерти, проблемы с зачатием: что не так с главным средством от прыщей Мысли о смерти, проблемы с зачатием: что не так с главным средством от прыщей

Акне — болезнь, серьезность которой недооценивают

Cosmopolitan
«Воскресная тревога»: почему мы нервничаем перед началом новой рабочей недели «Воскресная тревога»: почему мы нервничаем перед началом новой рабочей недели

Разве вы хотите начинать новую неделю в тревожно-тоскливом настроении?

Psychologies
Безумные завещания, которые оставили после себя известные люди Безумные завещания, которые оставили после себя известные люди

Самые необычные завещания знаменитостей

Maxim
Имплантируемый датчик вернул осязание крысиной лапе Имплантируемый датчик вернул осязание крысиной лапе

Устройство успешно восстановило чувствительность конечностей грызунов

N+1
Гаитянский щелезуб и еще 3 ядовитые «ошибки природы» Гаитянский щелезуб и еще 3 ядовитые «ошибки природы»

«Ошибки природы» — ядовитые млекопитающие

Вокруг света
«Этим надо заниматься, если мы хотим быть великой державой»: что такое зеленая химия и как наука помогает спасти планету «Этим надо заниматься, если мы хотим быть великой державой»: что такое зеленая химия и как наука помогает спасти планету

В чем подвох биоразлагаемого пластика и как перестать бояться химию?

Forbes
В атмосфере экзопланеты впервые обнаружили и измерили следы изотопов В атмосфере экзопланеты впервые обнаружили и измерили следы изотопов

В атмосфере далекой экзопланеты впервые обнаружены изотопы

Популярная механика
Трудно быть с богом Трудно быть с богом

Как «Солярис» Станислава Лема стал прощанием с верой в прогресс

Weekend
Открыть в приложении