Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Old but gold: как и почему растет рынок технологий для пожилых людей Old but gold: как и почему растет рынок технологий для пожилых людей

Продукты и услуги для старшего поколения — глобальный тренд

Forbes
IDеальное преступление IDеальное преступление

Четыре года назад «Популярная механика» опубликовала свой первый кибердетектив

ТехИнсайдер
Только не перезванивайте: 5 простых способов, как узнать, кто звонил с неизвестного номера Только не перезванивайте: 5 простых способов, как узнать, кто звонил с неизвестного номера

Как понять, что с незнакомого номера звонит злоумышленник?

ТехИнсайдер
«Издательский проект Петра Первого: Илья Копиевский и новые русские книги» «Издательский проект Петра Первого: Илья Копиевский и новые русские книги»

Как был устроен перенос научно-технических знаний на русский язык

N+1
Секрет похудения, который заключается не в голодании или подсчете калорий Секрет похудения, который заключается не в голодании или подсчете калорий

Какое воздействие на организм окажет один день без углеводов?

ТехИнсайдер
Язык и окружающая среда: почему у одних народов больше слов для обозначения любви, а у других – для снега Язык и окружающая среда: почему у одних народов больше слов для обозначения любви, а у других – для снега

Как окружающая среда влияет на словарный запас?

ТехИнсайдер
Социальные круги: почему мы не можем дружить со всеми Социальные круги: почему мы не можем дружить со всеми

Отрывок из книги «Homo Amicus. Деловой человек в поисках друга»

Forbes
Не ешь пирожок! Не ешь пирожок!

Составляем правильное меню для тебя (без булочек!)

VOICE
Разбираем типичные проблемы российских предпринимателей Разбираем типичные проблемы российских предпринимателей

Список из важнейших ошибок российских предпринимателей

Inc.
Мария Мацель: «Теперь наконец я могу делать и что-то свое» Мария Мацель: «Теперь наконец я могу делать и что-то свое»

Актриса Мария Мацель — о том, как снимаются фильмы-сны

Ведомости
Как сохранить близость с детьми, даже когда они становятся взрослыми Как сохранить близость с детьми, даже когда они становятся взрослыми

Если вы хотите, чтобы ваши дети всегда доверяли вам, следуйте этим советам

Inc.
Революция со счастливым концом Революция со счастливым концом

Рубеж XIX и XX веков отмечен бурными событиями в целом ряде наук

Знание – сила
Чудо-молекулы Чудо-молекулы

Зачем нашей коже нужны ниацинамид и эктоин

Лиза
Квазивалютный бизнес Квазивалютный бизнес

Что такое квазивалютные кредиты в китайских юанях и как они работают

Ведомости
Секаторы на пенсию: топ-5 аккумуляторных кусторезов 2025 года Секаторы на пенсию: топ-5 аккумуляторных кусторезов 2025 года

Как выбрать аккумуляторный кусторез для сада?

CHIP
Цена свободы Цена свободы

Свобода от российских энергоресурсов обошлась экономике Евросоюза в €1,3 трлн

Ведомости
Какие были парфюмы в Древней Греции? Узнайте интересные факты! Какие были парфюмы в Древней Греции? Узнайте интересные факты!

Мир ароматов в Древней Греции был куда богаче, чем может показаться

ТехИнсайдер
Арена на двоих Арена на двоих

Как исторически складывались отношения России и США

Эксперт
Кто такая пикми: разбираем феномен пикми-герл с психологами Кто такая пикми: разбираем феномен пикми-герл с психологами

Что стоит за пикми-поведением?

РБК
Тихоходкам набили татуировки электронным пучком Тихоходкам набили татуировки электронным пучком

Китайские материаловеды нанесли татуировки живым тихоходкам

N+1
В средневековом европейском борделе похоронили трехмесячного мальчика В средневековом европейском борделе похоронили трехмесячного мальчика

Ученые описали захоронение младенца в средневековом борделе Бельгии

N+1
3 сильные стороны интровертов, которые помогут им стать успешными 3 сильные стороны интровертов, которые помогут им стать успешными

Интроверты наделены множеством суперспособностей — нужно просто знать их

Inc.
Сошедший с орбиты Сошедший с орбиты

Как австралийцы изобрели «орбитальный» двигатель внутреннего сгорания

Наука и жизнь
Из Москвы в Питер на деньги синдиката Из Москвы в Питер на деньги синдиката

Как устроен механизм финансирования ВСМ Москва — Санкт-Петербург

Монокль
Там, где свет слушает звук Там, где свет слушает звук

Как и для чего создаются гиперспектрометры и мультиспектральные камеры

Наука и жизнь
Апрель: «нашествие» хохлаток Апрель: «нашествие» хохлаток

Хохлатки-эфемероиды — радостный вскрик пробуждающейся природы

Наука и жизнь
Иностранцы на входе Иностранцы на входе

Как разрабатываются механизмы возвращения иностранного бизнеса в Россию

Ведомости
8 признаков, которые говорят о том, что парикмахер плохо тебя подстрижет 8 признаков, которые говорят о том, что парикмахер плохо тебя подстрижет

Красные флаги, указывающие на то, парикмахер сделает тебе плохую стрижку

VOICE
Топ процедур по омоложению на 45 лет Топ процедур по омоложению на 45 лет

Лучшие косметологические методики для 45-летних

VOICE
Мама, ты меня не понимаешь! Мама, ты меня не понимаешь!

Как направить дочь по верному пути и при этом сохранить с ней контакт?

Лиза
Открыть в приложении