Две главных причины бояться искусственного интеллекта
Какие страхи в отношении сверхразума обоснованны? Ответ Дмитрию Волкову
Некоторые страхи по поводу искусственного интеллекта в целом обоснованны, и я разделяю два из них.
Первый — что можно целенаправленно создать враждебный искусственный интеллект и боевые системы на его основе. Например, миниатюрные летающие устройства, которые могут объединяться в рои и перемещаться на большие расстояния, коллективно выполняя какие-то опасные действия. Поэтому я считаю, что нужно договориться на межгосударственном уровне о запрете и масштабных исследованиях боевых систем на основе ИИ.
Второй страх связан с эволюцией искусственного интеллекта. Уже сейчас одни нейросети создают другие, Google уже провел первый подобный успешный эксперимент. При таком развитии могут появиться целые эволюционные ветви искусственного интеллекта. И даже если изначальная цель была вполне мирной и полезной для человека, то побочные эффекты могут оказаться совершенно непредсказуемыми. Представьте себе эффективную нейросеть, с вычислениями, распределенными по многим компьютерам, чья задача сортировать изображения собачек и кошек. И вдруг она обнаруживает, что человек выключил один из компьютеров кластера и это ухудшило показатели классификации — система теоретически может принять «эффективное» решение и, в конце концов, в погоне за улучшениями теоретически система может получить доступ к атомной электростанции или дамбе около города.
Представьте «полезную» бактерию, задача которой — поедать пластик на свалках. Но в результате ситуация может выйти из-под контроля и бактерии начнут поедать пластик, например, в деталях самолетов
Рано или поздно появятся подобные угрозы со стороны ИИ. Как с ними бороться? Человечество уже давно сталкивается с угрозами со стороны «умных» эволюционирующих систем — например, занимаясь селекцией сельскохозяйственных культур и приручением дикой природы. В рамках генной инженерии, к примеру, могут быть созданы канцерогенные культуры или особо живучие бактерии. Представьте «полезную» бактерию, изначальная задача которой — поедать