Да придет спаситель
Из безобидного инструмента искусственный интеллект всего за пару лет превратился сначала в нашего ассистента, затем в соавтора, а теперь и в угрозу национальной (если не планетарной!) безопасности. Восстанию машин лингвист Максим Кронгауз предпочитает вторжение инопланетян, но игнорировать существующие тенденции отказывается — и объясняет их нам.
В самом начале октября научный руководитель OpenAI Якуб Пахоцкий опубликовал эссе под названием «Чужеродный разум» (An Alien Mind). В нем он призвал индустрию к чрезвычайной осторожности и признал, что на данный момент ни одна лаборатория в мире не решила проблему согласования целей ИИ с человеческими ценностями в достаточной степени. Он также сказал, что ИИ скорее выращивают, чем проектируют, и из-за этого людям становится трудно понимать логику его действий. А еще открыто допустил необходимость добровольного замедления темпов разработки ИИ лабораториями до выработки единых стандартов безопасности.
Проблемы появились и у главного конкурента OpenAI компании Anthropic. Один из ведущих исследователей Джейкоб Коксон со скандалом ее покинул. В своих публичных постах он заявил о возможности уничтожения человечества до конца десятилетия из-за утраты контроля над ИИ в процессе конкурентной гонки. Оба специалиста фактически призвали к замедлению работ над ИИ и выработке мер контроля и защиты. Краткий итог ситуации подвел сенатор Рубен Гальего фразой «Доктор Франкенштейн говорит нам: “Монстр сбежал. Помогите его остановить”».
Неожиданным образом компаниям-конкурентам удалось публично договориться о замедлении работы. Вначале к этому призвал генеральный директор Anthropic Дарио Амодеи, а затем его поддержал Сэм Альтман, глава OpenAI, после чего компании официально объявили о партнерстве в области кибербезопасности. Однако конкуренция происходит не только между компаниями, но и между странами, а Трамп и Китай, по существу, выступили против замедления. Более того, президент США подчеркнул, что искусственное замедление американских технологий сыграет на руку Китаю.
Впрочем, реакция Дональда Трампа этим не ограничилась. Он провел встречу с ИИ-лидерами и подписал указ, предписывающий ведомствам заменить термин «искусственный интеллект» на «сверхразум» (Super Intelligence / SI) в официальных коммуникациях. По мнению Трампа, старые термины недооценивают возможности технологии, которые уже превзошли любые ранние ожидания (но на самом деле он просто очень любит переименовывать и тем самым оставлять следы в языке). В этот же день технологические гиганты подписали добровольное соглашение с Белым домом о введении жесткого внутреннего мониторинга рисков (включая химические, биологические и киберугрозы). А Илон Маск сразу же объявил о переименовании подразделения SpaceX AI в SpaceX SI.
Вишенкой на торте можно считать открытое письмо 25 математиков, лауреатов Филдсовской премии, которое называют даже манифестом. Математики предъявили претензию ИИ-компаниям, которые используют математические задачи исключительно как полигон для демонстрации вычислительной мощности своих новых моделей. Да, ИИ решает сложнейшие задачи и получает результат, но делает это методом сложного перебора, не создавая новых математических смыслов, концепций или глубокого понимания предмета. Вообще, этот упрек оказывается, может быть, самым главным, который предъявляется ИИ или его создателям. Да, он получает результат, но делает это как-то без души и не расширяет границы нашего понимания.
Конечно, слышать такое от математиков странно: кто, если не они, должен считать достижение результата главной целью своей науки? Ан нет, и их проняло.
Видимо, почувствовали, что такое внезапное процветание математики, то есть получение большого количества недоступных ранее результатов, приведет к завершению профессии математика. Иначе говоря, то, что для математики здорово, для отдельного математика — смерть.