Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Отрывок из книги Марии Нырковой «​​Залив Терпения» Отрывок из книги Марии Нырковой «​​Залив Терпения»

Откровенный текст о семейной истории, поиске корней и женской силе

СНОБ
Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты» Елена Николаева: «Я была влюблена в Смехова. Его Атос казался мне мужчиной мечты»

Я в отношениях уже девять лет, поэтому не могу сказать, что влюблена. Я люблю

Караван историй
От Алисы в Стране чудес до Мюнхгаузена От Алисы в Стране чудес до Мюнхгаузена

8 совсем не сказочных психических расстройств со сказочными названиями

Лиза
«А на что мне миллион?» «А на что мне миллион?»

Сколько денег было у графа Монте-Кристо

Деньги
Променад по выставке с картинками: лучшие музыкальные произведения, вдохновленные живописью Променад по выставке с картинками: лучшие музыкальные произведения, вдохновленные живописью

Удивительные примеры музыки, навеянной живописью

СНОБ
Целую, береги себя Целую, береги себя

Новый год в трогательных воспоминаниях

Новый очаг
Сказка о бедняке Оскюс-ооле и его мудрых работниках Сказка о бедняке Оскюс-ооле и его мудрых работниках

Давным-давно жил-был на перекрестке семи улиц сирота Оскюс-оол...

СНОБ
3,5 тонны роскоши 3,5 тонны роскоши

Китайский внедорожник TANK 700 очень большой, очень тихий и очень мощный

ТехИнсайдер
Анна Кузнецова: «Можно ли перестать обижаться?» Анна Кузнецова: «Можно ли перестать обижаться?»

Возможно, кто-то разочаруется, но я считаю, что перестать обижаться невозможно

Здоровье
Целлюлит победить легче, чем кажется — вот что тебе поможет Целлюлит победить легче, чем кажется — вот что тебе поможет

Целлюлит — косметический дефект, не понаслышке знакомый 90% женщин

VOICE
Как искусственный интеллект помогает в научных исследованиях Как искусственный интеллект помогает в научных исследованиях

Впечатляющие сферы применения ИИ исследователями

РБК
«Братский поцелуй» «Братский поцелуй»

Одна из самых известный фотографий сделана в ГДР, 7 октября 1979 года

Дилетант
Хмелита: день сегодняшний и завтрашний Хмелита: день сегодняшний и завтрашний

О нынешнем дне усадьбы Хмелита и всего музея-заповедника

Знание – сила
«Мифология советского космоса». Отрывок из книги «Мифология советского космоса». Отрывок из книги

Как формировалось восприятие космоса и его покорителей в советской культуре?

СНОБ
Видеосалонное искусство Видеосалонное искусство

«На расстоянии удара»: оммаж «Кровавому спорту» 35 лет спустя

Weekend
От гордыни до похоти: какие бывают семь смертных грехов и актуальны ли они сегодня От гордыни до похоти: какие бывают семь смертных грехов и актуальны ли они сегодня

Какой посыл несет в себе каждый из смертных грехов?

ТехИнсайдер
Уйти из искусства ради искусства Уйти из искусства ради искусства

Как группа OHO сошла с художественной сцены в зените славы

Weekend
Пол Гетти: история бережливого миллиардера, который отказывался платить выкуп за похищенного внука Пол Гетти: история бережливого миллиардера, который отказывался платить выкуп за похищенного внука

Рассказываем историю одного из самых богатых и жадных людей планеты

ТехИнсайдер
Болезнь начинается раньше, чем мы думаем: как узнать о деменции за годы до ее проявлений Болезнь начинается раньше, чем мы думаем: как узнать о деменции за годы до ее проявлений

4 симптома, которые могут с высокой вероятностью указать на развитие деменции

Psychologies
Укрощение рубля Укрощение рубля

Как Россия в очередной раз справилась с американскими санкциями

Деньги
«Друзья идей»: платоновская красота математики в зеркале медиа «Друзья идей»: платоновская красота математики в зеркале медиа

Как сохранить в России интерес к фундаментальной науке

Наука
Проклятье малой серии Проклятье малой серии

Как российскому автопрому нарастить производство?

Монокль
Уголовница, изменщица, спецагент Уголовница, изменщица, спецагент

Версий «Мурки» существует бессчётное множество, и это делает ее такой загадочной

Дилетант
«Апостол Павел объясняет догматы веры в присутствии царя Агриппы, сестры его Береники и проконсула Феста» «Апостол Павел объясняет догматы веры в присутствии царя Агриппы, сестры его Береники и проконсула Феста»

Картина Василия Сурикова, посвященная Апостолу Павлу

Дилетант
Тихая охота биотехнологов Тихая охота биотехнологов

Почему грибы становятся кандидатом в «эликсиры долголетия и молодости»

Монокль
Когда-то по Земле ходили «мега-пингвины»! Интересные факты о доисторических птицах ростом с человека Когда-то по Земле ходили «мега-пингвины»! Интересные факты о доисторических птицах ростом с человека

Какими были гигантские доисторические пингвины и почему они исчезли?

ТехИнсайдер
Маленькая выставка большого художника Маленькая выставка большого художника

Почему маленькая выставка и действительно ли большого художника?

Наука и жизнь
Банкир всех штатов Банкир всех штатов

Как Амадео Джаннини создал Bank of America

Деньги
Баланс сил между берегами Тайваньского пролива Баланс сил между берегами Тайваньского пролива

Руководство Китая не прибегнет к силовому варианту присоединения Тайваня

Обозрение армии и флота
Утомленные ленью Утомленные ленью

Почему лениться так утомительно?

Лиза
Открыть в приложении