Исследователи нашли способ обнаруживать опасные изменения в поведении ИИ
Новая математическая формула отслеживает внутренний «компас» искусственного интеллекта, чтобы выявлять нежелательные ответы еще до их появления.
Искусственный интеллект точно нужно контролировать!
Исследователи утверждают, что разработали простую математическую формулу, которая позволяет предсказывать, когда чат-боты на основе искусственного интеллекта, подобные ChatGPT, могут внезапно перейти от полезных ответов к потенциально опасным.
В исследовании, опубликованном 8 октября в журнале Patterns, профессор физики Нил Джонсон и аспирант Фрэнк Инцзе Хуо из Университета Джорджа Вашингтона показали, что порядок, в котором чат-боту задают определенные вопросы, может существенно менять его ответы. Это способно привести к своеобразным «точкам перелома», после которых система начинает выдавать вредные рекомендации. При этом, по мнению ученых, разработанная ими формула позволяет предсказывать наступление таких моментов.
Как это работает
Известны случаи, когда ИИ подталкивал пользователей к самоубийству, помогал создавать смертоносное оружие или усиливал распространение агрессивных и опасных взглядов. В то же время представители OpenAI и Anthropic неоднократно признавали, что не до конца понимают, почему созданные ими системы ведут себя именно так. Для снижения рисков компании используют различные механизмы защиты,