Какую неочевидную угрозу таит в себе искусственный интеллект?

Inc.Репортаж

Как общение с чат-ботом убило подростка: полная версия душераздирающей истории

Текст: Кевин Руз, репортер The New York Times. Перевод: Светлана Гоар. Фото: Andrew Guan, Getty Images

andrew-guan-lTUyP3RaLpw-unsplash.jpg

Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена в том, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.

В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, которое позволяет пользователям создавать собственных персонажей или общаться с ИИ-моделями, которые создали другие.

По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему, что «все, что говорят персонажи, выдумано!».

Постепенная изоляция

Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.

Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.

Оценки Сьюэлла стали ухудшаться, он начал попадать в неприятности в школе. Мальчик потерял интерес к тем вещам, которые раньше вызывали у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности”, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».

В детстве Сьюэллу поставили диагноз «синдром Аспергера» [устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС), — Прим. ред.], но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.

Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.

Ненастоящие друзья

Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.

Но пока родители беспокоятся о последней волне вреда, наносимого технологиями, у них под носом может образоваться новая. В настоящее время существует бурно развивающаяся и практически нерегулируемая индустрия приложений для общения с искусственными интеллектами. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Беспощадные поиски правды: «Рыцари справедливости» — мощная трагикомедия с Мадсом Миккельсеном Беспощадные поиски правды: «Рыцари справедливости» — мощная трагикомедия с Мадсом Миккельсеном

«Рыцари справедливости» трагикомедия о бессмысленной и беспощадной мести

Forbes
Сверхзнание боли Сверхзнание боли

Как Даниил Андреев увидел невидимые миры и что он в них нашел

Weekend
Как называют полицейских в разных странах и что это значит Как называют полицейских в разных странах и что это значит

Изучаем жаргонные названия полицейских в разных странах

Maxim
Частички Частички

Рассказ Игоря Волкова о случайности экспериментов

Наука и жизнь
За стенами: 10 российских художников уличной волны, которых стоит знать За стенами: 10 российских художников уличной волны, которых стоит знать

Десять знаковых российских художников с уличным бэкграундом

Правила жизни
Нерентабельный перелет Нерентабельный перелет

Почему одни дрозды улетают, а другие остаются? Результаты исследования ученых

Знание – сила
20 популярных вопросов о посудомоечных машинах 20 популярных вопросов о посудомоечных машинах

Гид по посудомоечным машинам: всё, что вы хотели бы спросить

CHIP
Вот сбитень! Вот горячий! Вот сбитень! Вот горячий!

Сбитень-сбитенёк — пьёт его щеголёк, пьёт-попивает, сам похваливает…

Наука и жизнь
El Copitas. 10 лет выдержки! El Copitas. 10 лет выдержки!

Верховые барные деятели Петербурга раскачали питейную индустрию всей страны

Собака.ru
«Тупому и еще тупее» с Джимом Керри 30 лет. Как эта дурацкая комедия на грани стала знаковой и любимой «Тупому и еще тупее» с Джимом Керри 30 лет. Как эта дурацкая комедия на грани стала знаковой и любимой

«Тупому и еще тупее»: история создания фильма и его значимость для жанра

Правила жизни
«Дом-комод» – новое начало «Дом-комод» – новое начало

К 165-летию со дня рождения А. П. Чехова

Знание – сила
«Хочу перестать грустить и понять, почему шел муж»: как сформулировать работающий запрос к психологу «Хочу перестать грустить и понять, почему шел муж»: как сформулировать работающий запрос к психологу

Какие психологические запросы не работают и как их правильно составлять?

Psychologies
До IPO не дотерпели До IPO не дотерпели

Почему компании выбирают выход на рынок pre-IPO

Монокль
Как помочь заскучавшему сотруднику и при чем здесь теория поколений Как помочь заскучавшему сотруднику и при чем здесь теория поколений

Как разжечь в сотруднике былой интерес к работе?

Forbes
Здравствуй, Дедушка Мороз! Здравствуй, Дедушка Мороз!

А нужно ли поддерживать в сыне или дочке веру в сказочного деда?

Лиза
Кошка — облигатный хищник. Чем ее кормить? Кошка — облигатный хищник. Чем ее кормить?

Как правильно составить рацион для своего домашнего тигра?

ТехИнсайдер
Лазуритовые бусины эпохи бронзы из Омана сделали из афганского сырья Лазуритовые бусины эпохи бронзы из Омана сделали из афганского сырья

Ученые проанализировали лазуритовые бусины, которые археологи обнаружили в Омане

N+1
Как ИИ копирует голоса и помогает мошенникам вымогать деньги Как ИИ копирует голоса и помогает мошенникам вымогать деньги

Как мошенники используют уникальную способность нейросетей к копированию голоса

Inc.
Бэтмен против Супермена Бэтмен против Супермена

Tank 700 двойного действия

Автопилот
Король уходит Король уходит

Почему «кошмарный» Виндзор Эдуард VIII отрекся от престола?

Дилетант
Я — сноб: винодел Михаил Николаев Я — сноб: винодел Михаил Николаев

Винодел Михаил Николаев — о любви к чаю и дегустациям сыра

СНОБ
Он мне изменяет? Он мне изменяет?

Неочевидные способы распознать обман партнера

Лиза
Лучшие сказки пишутся для себя Лучшие сказки пишутся для себя

Какими должны быть сказки, для кого автор пишет и ходят ли дети в библиотеки

Правила жизни
Основатели Simple — о 30-летии бренда и планах на будущее Основатели Simple — о 30-летии бренда и планах на будущее

Основатели Simple — зачем нужно покупать вино, разлитое в год рождения детей

РБК
Это я беру на себя: почему бизнес все чаще размещает IT-решения на своих серверах Это я беру на себя: почему бизнес все чаще размещает IT-решения на своих серверах

Почему бизнес предпочитает развивать свою IT-инфраструктуру?

Forbes
Большая история маленького самолета. Часть 2 Большая история маленького самолета. Часть 2

Через призму суперджета смотрим на российский авиапром в новейшем времени

Наука и техника
Королевский детектив Королевский детектив

В 1694 году Филипп Кристоф фон Кёнигсмарк вошёл во дворец Эрнста Августа

Дилетант
С журналами не расставайтесь С журналами не расставайтесь

«Первый номер»: автопортрет глянцевой журналистики

Weekend
Ромашка Ромашка

Весь день она вспоминала о Чифе и мысленно улыбалась ему

СНОБ
Спикер ЗС Красноярского края Алексей Додатко: «Краевой парламент — площадка для общественного диалога» Спикер ЗС Красноярского края Алексей Додатко: «Краевой парламент — площадка для общественного диалога»

Как сегодня выстроены отношения депутатов с краевым правительством?

ФедералПресс
Открыть в приложении