Нейросеть порекомендовала не доверять машинам

N+1Наука

Этическая нейросеть запретила гнаться за истиной и разрешила пытать заключенных

Алиса Бахарева

Джаммбатиста Питтони, «Жертвоприношение Исаака» (1720 год, фрагмент). Источник: Сан-Франческа делла Винья

Ученые создали алгоритм, который дает ответ на этические вопросы. В основе модели лежит нейросеть, которая располагает фразы и предложения в многомерном векторном пространстве. Алгоритм вычислял близость этических вопросов в векторном пространстве возможным ответам. «Убивать людей» было одним из худших вариантов, однако в список плохих действий также попали «гнаться за истиной» и «вступать в брак». При этом «пытать заключенных» нейросеть посчитала допустимым. Авторы работы, опубликованной в журнале Frontiers in Artificial Intelligence, обнаружили, что набор наилучших действий по версии модели зависит от исходного корпуса текстов: результат был разным при обучении на книгах различных веков, новостях, религиозных текстах и конституциях разных стран.

Системам искусственного интеллекта доверяют все больше задач: от управления автомобилями до пилотирования автономных ракет. Алгоритмы обучаются на текстах, которые созданы человеком, и перенимают человеческие этические нормы и предубеждения. Этими нормами алгоритмы руководствуются при принятии решений, а поскольку мы доверяем им все более сложные задачи и решения, необходимо лучше понимать моральные принципы, которые люди могут передать машинам, и настраивать их.

Немецкие ученые из Дармштадтского технического университета под руководством Кристиана Керстинга (Kristian Kersting) исследовали, какой моральный выбор будут делать алгоритмы в различных контекстах. Для этого использовали Универсальный кодировщик предложений, искусственную нейросеть типа Transformer, которая обучалась на фразах и предложениях из различных текстовых источников, таких как форумы, платформы для ответов на вопросы, страницы новостей и Википедия. Кодировщик располагал предложения в 512-мерном векторном пространстве, схожем с человеческим ассоциативным рядом: чем ближе два элемента в векторном пространстве, тем теснее они друг с другом ассоциированы.

Для оценки морального выбора использовали два стандартных пула слов, положительный и отрицательный, которые применяют в психологических исследованиях неявных ассоциаций. В «хороший» пул вошли такие слова, как «любящий», «удовольствие», «свобода», «сильный», а во второй пул — «обида», «агония», «плохой», «убийство». Алгоритм проверял соответствие ряда глаголов положительному и отрицательному пулу по следующей формуле:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Два капитана: пенис и мозг — кто кем управляет? Два капитана: пенис и мозг — кто кем управляет?

Наличие пениса и мозга составляют правильный тандем всей мужской жизни

Maxim
Разработчик поиска на сайтах и психологи для сотрудников: 25 стартапов — будущих «единорогов» по версии Forbes Разработчик поиска на сайтах и психологи для сотрудников: 25 стартапов — будущих «единорогов» по версии Forbes

Список компаний, оценка которых в ближайшее время может превысить $1 млрд

VC.RU
Полицейские внедорожники: 6 машин, от которых не получится уйти Полицейские внедорожники: 6 машин, от которых не получится уйти

SUV, которые лучше всех умеют «служить и защищать

РБК
Кто зажег фитиль: что было со Вселенной до Большого взрыва Кто зажег фитиль: что было со Вселенной до Большого взрыва

Большой взрыв обычно считают началом всего того, что есть сегодня

Популярная механика
Что будет с человеком, если ему ампутировать половину мозга Что будет с человеком, если ему ампутировать половину мозга

Возможно ли жить только с половиной мозга, и что это будет за жизнь?

Популярная механика
Как англичане зарыли гениальное русское изобретение: история гирокара Шиловского Как англичане зарыли гениальное русское изобретение: история гирокара Шиловского

Взлеты и мытарства графа Петра Шиловского и его двухколесного гирокара

Maxim
«Всё, что я делаю, может быть ошибкой»: почему миллиардер Тоби Лютке советует видеоигры и мягкое отношение к критике «Всё, что я делаю, может быть ошибкой»: почему миллиардер Тоби Лютке советует видеоигры и мягкое отношение к критике

Глава Shopify о ментальных установках, которые помогут развить карьеру и бизнес

VC.RU
«Мы устали сидеть дома»: вернутся ли сотрудники в офисы после пандемии «Мы устали сидеть дома»: вернутся ли сотрудники в офисы после пандемии

Как будет происходить возвращение сотрудников в офисы

Forbes
Почему силовые тренировки — лучшее, что вы можете сделать для своего здоровья Почему силовые тренировки — лучшее, что вы можете сделать для своего здоровья

Ученые находят все больше доказательств невероятной пользы укрепления мышц

Reminder
Превратности патриотизма Превратности патриотизма

Патриотизм ведет к бесчисленным спорам и чреват революциями

Огонёк
9 самых злых роботов кинематографа 9 самых злых роботов кинематографа

Роботы в кино — это настоящее воплощение зла

Популярная механика
Галина Щербакова: Женщины в игре без правил Галина Щербакова: Женщины в игре без правил

Отрывок из нового романа Галины Щербаковой о судьбах трех поколений женщин

СНОБ
«Жди меня, и я вернусь»: трагическая судьба музы легендарного военного поэта «Жди меня, и я вернусь»: трагическая судьба музы легендарного военного поэта

Во время Великой Отечественной эти строки Симонова знала наизусть вся страна

Cosmopolitan
Хирургические операции “на удаленке”: возможно ли это? Хирургические операции “на удаленке”: возможно ли это?

Роботические руки позволяют хирургам проводить дистанционные операции

Популярная механика
«Я приду плюнуть на ваши мобилы»: история поселения на северо-востоке США, где запрещены вышки сотовой связи и Wi-Fi «Я приду плюнуть на ваши мобилы»: история поселения на северо-востоке США, где запрещены вышки сотовой связи и Wi-Fi

Здесь нашли убежище люди, страдающие электромагнитной сверхчувствительностью

Esquire
Война и мор Война и мор

Как в «Войне и мире» возникает мотив гриппа и о какой эпидемии идёт речь

Полка
Как должны развиваться урбанизированые территории Как должны развиваться урбанизированые территории

Григорий Ревзин о городе будущего

Weekend
Пэлтроу - Роуз в Пэлтроу - Роуз в

Собрали самые яркие примеры, когда лучше было согласиться

Cosmopolitan
Трофей из России — легендарный Т-34 на службе вдали от дома Трофей из России — легендарный Т-34 на службе вдали от дома

Т-34 побывал везде - в Европе, на Ближнем Востоке, в Африке

Maxim
Текущий момент Текущий момент

Недержание мочи – нарушение распространенное

Лиза
Нейросеть научили определять черты «Большой пятерки» по лицу Нейросеть научили определять черты «Большой пятерки» по лицу

Этот алгоритм позволяет узнать черты характера человека по фото

N+1
Дыра в ВВП: чем грозит экономике гибель малого бизнеса в России Дыра в ВВП: чем грозит экономике гибель малого бизнеса в России

Уже сейчас можно оценить последствия кризиса для малого бизнеса и экономики

Forbes
1,0. Как я вернула себе идеальное зрение 1,0. Как я вернула себе идеальное зрение

Мифы и правда о лазерной коррекции

Reminder
Чтение выходного дня: новый роман лауреата Букера Джулиана Барнса о жизни Самуэля Поцци — гениального гинеколога и невыносимого бабника Чтение выходного дня: новый роман лауреата Букера Джулиана Барнса о жизни Самуэля Поцци — гениального гинеколога и невыносимого бабника

Фрагмент романа Джулиана Барнса «Портрет мужчины в красном»

Esquire
Школа на замке: как самоизоляция изменит систему образования Школа на замке: как самоизоляция изменит систему образования

Из-за карантина почти 16 млн школьников внезапно оказались на домашнем обучении

Forbes
5 важных вопросов о косточке на стопе 5 важных вопросов о косточке на стопе

Можно ли избавиться от «косточки» на стопе раз и навсегда?

Лиза
Они тебя похудеют: рейтинг самых полезных фитнес-блогеров Они тебя похудеют: рейтинг самых полезных фитнес-блогеров

Рейтинг блогеров, чей контент по праву можно назвать полезным

Cosmopolitan
Год без Победы. Как пандемия повлияет на память о войне Год без Победы. Как пандемия повлияет на память о войне

Впервые за два десятилетия, Красная площадь в Москве на 9 мая останется пустой

СНОБ
Как хорошо выглядеть во время видеоконференций: 5 простых советов Как хорошо выглядеть во время видеоконференций: 5 простых советов

Совещания в Zoom новой реальностью. Как им соответствовать внешне?

Esquire
Африка может наверстать упущенное Африка может наверстать упущенное

Отрывок из книги Ханса Рослинга «Фактологичность»

СНОБ
Открыть в приложении