Нейросеть дала сбой: почему ИИ галлюцинирует и можно ли защититься от ошибок
Почти треть людей во всем мире опасается "галлюцинаций" искусственного интеллекта. В ряде случаев ошибки ИИ-алгоритмов приводят к простоям рабочего времени, конфликтам с коллегами и неполадкам, которые временно отключают целые сервисы. В связи с этим все больше пользователей задаются вопросом: кто несет ответственность, если система допустила ошибку и как минимизировать такие риски? В этом вопросе вместе с редакцией Techinsider.ru разбирался Михаил Неверов, директор по развитию искусственного интеллекта Х5.
В декабре прошлого года в Amazon Web Services произошел крупный сбой. По данным The Financial Times, разработчики в экспериментальном формате дали ИИ-ассистенту Kiro AI широкие полномочия. Нейросети разрешили внести несколько изменений в работу облачной платформы. Однако та решила, что лучше всего будет удалить и заново создать все пространство. Неполадки устраняли в течение 13 часов. Как рассказали в самой компании, за 2025 год произошло минимум два инцидента с галлюцинациями ИИ, которые повлияли на работу сервиса. При этом Amazon считает, что все сбои произошли из-за ошибок человека.
Оказалось, что по умолчанию ИИ-агент всегда запрашивает авторизацию перед выполнением любой операции. Но разработчику, который участвовал в инциденте и одобрял действия нейросети, дали более широкие права доступа, чем планировали изначально. Пример Amazon довольно четко показал проблему, с которой сталкиваются даже крупнейшие компании при внедрении ИИ в бизнес-процессы. ИИ-агентов нередко воспринимают как самостоятельных сущностей – практически как сотрудников, которые могут действовать с минимальным контролем со стороны человека.
Однако в реальности нейросеть – это инструмент. Как и любая другая технология, в какой-то момент она может дать сбой. При этом без корректного контроля на стороне клиента даже самая совершенная ИИ-модель может стать источником риска.
Как минимизируют риски при внедрении ИИ-инструментов
Сейчас при интеграции ИИ-инструментов в процессы большинство компаний использует два подхода. Первый – Human-in-the-Loop (HITL) или "человек в контуре" — архитектура, в которой человек встраивается в контур принятия решений. ИИ занимается обработкой данных и рутинными задачами, а человек выступает в роли эксперта или контролера. Внутри HITL есть четыре паттерна, которые применяются в зависимости от особенностей задачи и уровня риска.
- Утверждение – человек выступает в роли фильтра, который решает, одобрить или отклонить результат работы нейросети, но не вносит в него изменения. Этот паттерн используется, например, в скоринговых системах банков при проверке кредитных заявок или модерации контента.