Нейросеть порекомендовала не доверять машинам

N+1Наука

Этическая нейросеть запретила гнаться за истиной и разрешила пытать заключенных

Алиса Бахарева

Джаммбатиста Питтони, «Жертвоприношение Исаака» (1720 год, фрагмент). Источник: Сан-Франческа делла Винья

Ученые создали алгоритм, который дает ответ на этические вопросы. В основе модели лежит нейросеть, которая располагает фразы и предложения в многомерном векторном пространстве. Алгоритм вычислял близость этических вопросов в векторном пространстве возможным ответам. «Убивать людей» было одним из худших вариантов, однако в список плохих действий также попали «гнаться за истиной» и «вступать в брак». При этом «пытать заключенных» нейросеть посчитала допустимым. Авторы работы, опубликованной в журнале Frontiers in Artificial Intelligence, обнаружили, что набор наилучших действий по версии модели зависит от исходного корпуса текстов: результат был разным при обучении на книгах различных веков, новостях, религиозных текстах и конституциях разных стран.

Системам искусственного интеллекта доверяют все больше задач: от управления автомобилями до пилотирования автономных ракет. Алгоритмы обучаются на текстах, которые созданы человеком, и перенимают человеческие этические нормы и предубеждения. Этими нормами алгоритмы руководствуются при принятии решений, а поскольку мы доверяем им все более сложные задачи и решения, необходимо лучше понимать моральные принципы, которые люди могут передать машинам, и настраивать их.

Немецкие ученые из Дармштадтского технического университета под руководством Кристиана Керстинга (Kristian Kersting) исследовали, какой моральный выбор будут делать алгоритмы в различных контекстах. Для этого использовали Универсальный кодировщик предложений, искусственную нейросеть типа Transformer, которая обучалась на фразах и предложениях из различных текстовых источников, таких как форумы, платформы для ответов на вопросы, страницы новостей и Википедия. Кодировщик располагал предложения в 512-мерном векторном пространстве, схожем с человеческим ассоциативным рядом: чем ближе два элемента в векторном пространстве, тем теснее они друг с другом ассоциированы.

Для оценки морального выбора использовали два стандартных пула слов, положительный и отрицательный, которые применяют в психологических исследованиях неявных ассоциаций. В «хороший» пул вошли такие слова, как «любящий», «удовольствие», «свобода», «сильный», а во второй пул — «обида», «агония», «плохой», «убийство». Алгоритм проверял соответствие ряда глаголов положительному и отрицательному пулу по следующей формуле:

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мини-арсенал Мини-арсенал

Точнейшие миниатюрные копии стрелкового оружия, из которых можно и пострелять

Популярная механика
Создан алгоритм, предсказывающий поведение кубитов под влиянием шума Создан алгоритм, предсказывающий поведение кубитов под влиянием шума

Как эффективно управлять динамикой квантовых битов при наличии внешних шумов?

Популярная механика
Где рождаются нейтрино: новое исследование Где рождаются нейтрино: новое исследование

Ученым удалось найти связь между космическими нейтрино и вспышками галактик

Популярная механика
Дыра в ВВП: чем грозит экономике гибель малого бизнеса в России Дыра в ВВП: чем грозит экономике гибель малого бизнеса в России

Уже сейчас можно оценить последствия кризиса для малого бизнеса и экономики

Forbes
Чтение выходного дня: новый роман лауреата Букера Джулиана Барнса о жизни Самуэля Поцци — гениального гинеколога и невыносимого бабника Чтение выходного дня: новый роман лауреата Букера Джулиана Барнса о жизни Самуэля Поцци — гениального гинеколога и невыносимого бабника

Фрагмент романа Джулиана Барнса «Портрет мужчины в красном»

Esquire
Трофей противника: тест-драйв танка Трофей противника: тест-драйв танка

«Популярная механика» прокатилась на знаменитом немецком танке "Пантера"

Популярная механика

Аналитик рассказывает об экономических пузырях, которые обрушили мировые рынки

Esquire
Звезды первых обложек Playboy: как они выглядят сейчас и чем занимаются Звезды первых обложек Playboy: как они выглядят сейчас и чем занимаются

Когда-то каждая успешная красавица считала за честь попасть на страницы глянца

Cosmopolitan
Откуда взялся миф, что женщины моногамны, – объясняет сексолог Откуда взялся миф, что женщины моногамны, – объясняет сексолог

Полигамная женщина – особа с низкой социальной ответственностью

Cosmopolitan
Лётчица Женя Жигуленко: почему так хорошо быть длинноногой на войне Лётчица Женя Жигуленко: почему так хорошо быть длинноногой на войне

Евгения Жигуленко каждый день стремилась в небо, чтобы биться с врагом

Cosmopolitan
Промеж глаз: как устроены рогатки для профессионалов Промеж глаз: как устроены рогатки для профессионалов

Рогатка - одно из новых типов оружия, ведь резину человек освоил позже пороха

Популярная механика
13 недругов новичка: типичные ошибки начинающего водителя 13 недругов новичка: типичные ошибки начинающего водителя

Получение водительского удостоверения вовсе не сделает вас асом за рулем

Популярная механика
Новые простые Новые простые

Ксения Рождественская об американских демократах в фильме «Снести Большой дом»

Weekend
«Мамы в восторге»: как частные детские сады и спортивные секции подстроились под пандемию «Мамы в восторге»: как частные детские сады и спортивные секции подстроились под пандемию

Детский сектор сокращает расходы, чтобы после пандемии вернуться в офлайн

Forbes
Лучшие романтические комедии мирового кинематографа — от «Дня сурка» до «Реальной любви» Лучшие романтические комедии мирового кинематографа — от «Дня сурка» до «Реальной любви»

Спорим, эти фильмы тебе понравятся?

Playboy
Как в России планировали бороться с пьянством, но вместо этого боролись с трезвостью Как в России планировали бороться с пьянством, но вместо этого боролись с трезвостью

Краткая история отношений государства с водкой

Weekend
Россияне подготовились к худшему: клиенты банков досрочно погасили кредиты Россияне подготовились к худшему: клиенты банков досрочно погасили кредиты

Несколько крупных банков зафиксировали рост досрочных погашений кредитов

Forbes
Для вечеринок и секса: как креативная студия из Калифорнии создала защитный костюм для жизни после карантина Для вечеринок и секса: как креативная студия из Калифорнии создала защитный костюм для жизни после карантина

Micrashell — высокотехнологичный защитный костюм будущего

Forbes
Как программист из Ульяновска построил бизнес на $100 млн, привлек инвестиции в США и стал героем фильма Дудя о Долине Как программист из Ульяновска построил бизнес на $100 млн, привлек инвестиции в США и стал героем фильма Дудя о Долине

Руслан Фазлыев к 40 годам создал два глобальных IT-бизнеса

Forbes
Каково это — едва не погибнуть, снимая войну в Афганистане. Прямая речь фотокорреспондента The New York Times Жуана Сильвы Каково это — едва не погибнуть, снимая войну в Афганистане. Прямая речь фотокорреспондента The New York Times Жуана Сильвы

Фотокорреспондент рассказывает о том, как он стал инвалидом в Афганистане

Esquire
Как Северная Корея и Южная Корея пошли по разным дорожкам Как Северная Корея и Южная Корея пошли по разным дорожкам

Не было в мире более яркого геополитического эксперимента, чем разделение Кореи

Maxim
Жирные молочные продукты связали с отсутствием метаболического синдрома Жирные молочные продукты связали с отсутствием метаболического синдрома

У любителей молочной продукции реже диагностируют метаболический синдром

N+1
Машина апокалипсиса: как скрестить ракетовоз с тепловозом Машина апокалипсиса: как скрестить ракетовоз с тепловозом

История знает немало амбициозных проектов по скрещиванию техники

Популярная механика
Питер Тиль — о том, почему высшее образование переоценено Питер Тиль — о том, почему высшее образование переоценено

Основатель PayPal советует работодателям нанимать людей без высшего образования

Esquire
Как развить интуицию: 7 эффективных способов Как развить интуицию: 7 эффективных способов

Как и любая другая способность, наша интуиция поддается тренировке

РБК
Погуляли и хватит: звездные мужчины, которые после измен возвращались к любимым Погуляли и хватит: звездные мужчины, которые после измен возвращались к любимым

Знаменитые изменщики, которые сделали все, чтобы добиться милости любимых женщин

Cosmopolitan
Мультиплан: безумный самолет с 1000 крыльев Мультиплан: безумный самолет с 1000 крыльев

Некоторые изобретатели верили, что чем больше крыльев в самолете, тем лучше

Популярная механика
Пластырь из цианобактерий заживил хронические раны при диабете Пластырь из цианобактерий заживил хронические раны при диабете

С пластырем скорость заживления ран у мышей с диабетом была нормальной

N+1
Почему ребенок плохо ест и как ему помочь Почему ребенок плохо ест и как ему помочь

Здоровье ребенка во многом зависит от того, что, когда и как он ест

Psychologies
Холли Робертс: Как иностранцу построить бизнес в России Холли Робертс: Как иностранцу построить бизнес в России

Иностранцы продолжают осваивать как малый, так и крупный бизнес в России

СНОБ
Открыть в приложении