Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Снимаешь парик и чувствуешь себя голой»: как живут женщины с алопецией «Снимаешь парик и чувствуешь себя голой»: как живут женщины с алопецией

Истории женщин, которые научились жить с алопецией и помогают другим

Forbes
Впервые в лаборатории воссоздана нервная цепь человеческой боли Впервые в лаборатории воссоздана нервная цепь человеческой боли

Ученые воспроизвели важный нервный путь, из-за которого человек чувствует боль

ТехИнсайдер
5 сверхспособностей, которые станут доступны людям уже через 5 лет по версии футурологов 5 сверхспособностей, которые станут доступны людям уже через 5 лет по версии футурологов

Какие «суперспособности» станут реальностью уже к 2030 году — и какой ценой?

Maxim
Секаторы на пенсию: топ-5 аккумуляторных кусторезов 2025 года Секаторы на пенсию: топ-5 аккумуляторных кусторезов 2025 года

Как выбрать аккумуляторный кусторез для сада?

CHIP
Возможно, у вас уже все есть: разбор гардероба в 4 простых правилах Возможно, у вас уже все есть: разбор гардероба в 4 простых правилах

Почему бы не заняться разбором гардероба прямо сейчас?

Правила жизни
Пасха пришла! Пасха пришла!

Как правильно украсить дом и стол к главному христианскому празднику

Лиза
Мимоза Мимоза

Героиня рассказа Лены Бурковой учится находить радость в простых вещах

Grazia
Нулевая ответственность: что делать, если вашим коллегам и подчиненным «все равно» Нулевая ответственность: что делать, если вашим коллегам и подчиненным «все равно»

Какие причины кроются за безответственностью на рабочем месте?

Forbes
«И всюду он гусар» «И всюду он гусар»

Лейб-гвардию Гусарского полка восторженно воспевали в стихах и на полотнах

Дилетант
Мы идем своим путем Мы идем своим путем

Русская внешняя политика как культурное явление

Эксперт
Почему взрослые дети не уважают зрелых родителей: мнение и советы психоаналитика Почему взрослые дети не уважают зрелых родителей: мнение и советы психоаналитика

Почему мы считаем родительские убеждения устаревшими и обесцениваем их опыт

Psychologies
Заводской брак или нет: юрист рассказал, как переспорить автосалон Заводской брак или нет: юрист рассказал, как переспорить автосалон

Как определить, считается поломка производственным дефектом или нет?

ТехИнсайдер
Каждая десятая Каждая десятая

Об эндометриозе, его симптомах и способах справиться с болезнью

VOICE
«Нынешнюю модель можно изменить только указом президента» «Нынешнюю модель можно изменить только указом президента»

Почему сегодня строится не то, что нужно обществу? Актуальная тема

Монокль
Мифотворец Мифотворец

120 лет со дня рождения танцовщика и балетмейстера Сержа Лифаря

Weekend
Женщина хочет крови: что такое femgore и как нас пугают безумными героинями в кино Женщина хочет крови: что такое femgore и как нас пугают безумными героинями в кино

Как под страшной маской femgore скрываются сатира и социальная критика

Forbes
Исследование показало, что видеоигры не оказывают негативного влияния на мозг детей, а наоборот, повышают их IQ Исследование показало, что видеоигры не оказывают негативного влияния на мозг детей, а наоборот, повышают их IQ

Дети, активно играющие в видеоигры, имеют высокий уровень умственной активности

Inc.
Бурялом Бурялом

Перед ним появилась огромная голова зверя с вытянутой мордой и острыми ушами...

Наука и жизнь
Голодные игры: как российским компаниям выжить в борьбе за последних специалистов Голодные игры: как российским компаниям выжить в борьбе за последних специалистов

Как радикально повысить производительности труда?

Forbes
Зарплатно-гендерный вопрос Зарплатно-гендерный вопрос

Удовлетворенность размером зарплаты среди мужчин и женщин практически сравнялась

Ведомости
Открывая космос Открывая космос

Путеводитель женщины-астронавта по миру миссий, чудес и перемен в космосе

kiozk originals
W с книгой W с книгой

Книги о творческих лабораториях театра, полицейских батальонах и кинопрозе

Weekend
Впали в детство: почему рабочие взаимоотношения превращаются в семейную драму Впали в детство: почему рабочие взаимоотношения превращаются в семейную драму

Как избежать «семейных» конфликтов на работе

Forbes
Конструктор маркет-независимости Конструктор маркет-независимости

Как селлерам помогают сервисы по созданию независимых интернет-магазинов

Монокль
От проверки юрлица до отзывов: 13 шагов для выбора программы допобразования От проверки юрлица до отзывов: 13 шагов для выбора программы допобразования

О том, как избежать образовательных продуктов, которые не несут ценности

Forbes
Беззубый театр. Беседа на спорные темы Беззубый театр. Беседа на спорные темы

Продолжение статьи худрука Марка Розовского о современном театре

Знание – сила
Четко по телу Четко по телу

Как «сбросить апельсиновую корку» с кожи?

Лиза
Джинсовая революция Джинсовая революция

Как бренд Guess однажды навсегда изменил всю джинсовую индустрию

Grazia
Время спать Время спать

Хотите впасть в спячку до весны? Теоретически для этого нет никаких препятствий

ТехИнсайдер
Сезон айс-латте начался, а полезно ли вообще пить холодный кофе? Спойлер: еще как! Сезон айс-латте начался, а полезно ли вообще пить холодный кофе? Спойлер: еще как!

О пользе обычного кофе известно немало, а что насчет пользы холодного напитка?

ТехИнсайдер
Открыть в приложении