Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Это настоящий бизнес»: как миллиардерша Мишель Канг меняет женский футбол «Это настоящий бизнес»: как миллиардерша Мишель Канг меняет женский футбол

Как Мишель Канг добивается равенства женского футбола с мужским?

Forbes
7 советов тем, кто работает в офисе 7 советов тем, кто работает в офисе

О чем важно помнить, чтобы избежать «офисного синдрома»?

Здоровье
Каким мог стать Ту-204: как советские конструкторы искали идеальный авиалайнер Каким мог стать Ту-204: как советские конструкторы искали идеальный авиалайнер

За 15 лет видение о том, каким должен быть Ту-204, несколько раз менялось

ТехИнсайдер
Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь

Как отличить депрессию от усталости или лени

VOICE
Пища для глаз: что такое визуальный голод и как фотографии еды воздействуют на мозг Пища для глаз: что такое визуальный голод и как фотографии еды воздействуют на мозг

Как наш мозг реагирует на виртуальное питание

Forbes
История 6 соток История 6 соток

Когда появилось такое явление, как дача? Кого можно считать первым дачником?

Лиза
Созданы в России Созданы в России

Доля семян российской селекции в посевах приблизилась к 68%

Агроинвестор
Следите за словами Следите за словами

Каких фраз нужно избегать, чтобы сохранить гармонию в союзе с любимым мужчиной?

Лиза
Девелоперы придерживают дома Девелоперы придерживают дома

Почему девелоперы затягивают сроки сдачи многоквартирного жилья

Ведомости
Химики надышали аммиака в микрокапли воды Химики надышали аммиака в микрокапли воды

Что они представляют собой заряженные частицы, детектируемые с микрокаплями воды

N+1
Блеск и несчастья «Великого Гэтсби» Блеск и несчастья «Великого Гэтсби»

Краткая история главного американского произведения 1920‑х

Weekend
Москва и коллекционеры Москва и коллекционеры

Москва в последние годы закрепила за собой статус главной площадки арт-рынка

Ведомости
Время спать Время спать

Хотите впасть в спячку до весны? Теоретически для этого нет никаких препятствий

ТехИнсайдер
Как преобразить ногти за 30 дней: советы мастера маникюра Как преобразить ногти за 30 дней: советы мастера маникюра

Как укрепить и подпитать ногти всего за четыре недели?

VOICE
Чёрная дыра по соседству? Чёрная дыра по соседству?

Может ли рядом с нами находится еще одна сверхмассивная чёрная дыра?

Наука и жизнь
Смена сторон Смена сторон

Почему теннисисты меняют спортивное гражданство и выступают за другие страны

Ведомости
Перовскитные солнечные элементы как перспективное направление зеленой энергетики Перовскитные солнечные элементы как перспективное направление зеленой энергетики

Как перовскитные солнечные элементы сделают энергетическую систему экологичнее?

Наука и техника
Биология на рубеже веков, или Сто лет тому вперед Биология на рубеже веков, или Сто лет тому вперед

Биология в 1900-х годах по темпам своего развития ничуть не отставала от физики

Знание – сила
Топ-5 самых странных игровых консолей в истории — от 1970-х до 2020-х Топ-5 самых странных игровых консолей в истории — от 1970-х до 2020-х

Самые необычные игровые консоли

CHIP
Жертвы Кургана: подвиги и самоотдача города трудовой доблести Жертвы Кургана: подвиги и самоотдача города трудовой доблести

Линия фронта проходит возле твоего станка — таким был лозунг курганских рабочих

ФедералПресс
5 неожиданных технологий, которые изменили 3D-графику 5 неожиданных технологий, которые изменили 3D-графику

Какие технологии стояли у истоков современной 3D-графики

ТехИнсайдер
Продлили срок: что можно сделать из бывших тюрем Продлили срок: что можно сделать из бывших тюрем

Как бизнесмены и государство развивают бывшие тюрьмы

Forbes
От Марса до квантовой физики: 11 книг для любителей научной фантастики От Марса до квантовой физики: 11 книг для любителей научной фантастики

Что ждет человечество в будущем? Фантасты размышляют в своих книгах

Maxim
Невролог назвал 3 ошибки, которые люди совершают в молодости. Их можно исправить прямо сейчас Невролог назвал 3 ошибки, которые люди совершают в молодости. Их можно исправить прямо сейчас

Три вещи, которых можно избежать в молодости

Inc.
Вклад в людей и технологии Вклад в людей и технологии

Москва поддерживает бизнес, выделяя гранты на развитие экспортной деятельности

Ведомости
«Это ведь не считается!»: 3 неочевидных признака эмоциональной неверности, которые опасно игнорировать «Это ведь не считается!»: 3 неочевидных признака эмоциональной неверности, которые опасно игнорировать

Как понять, что вы вот-вот измените, пусть и не в стандартном понимании?

Psychologies
От Аттилия до Спартака: 5 знаменитых гладиаторов Древнего Рима От Аттилия до Спартака: 5 знаменитых гладиаторов Древнего Рима

История первых гладиаторских боев корнями уходит еще в III век до нашей эры...

ТехИнсайдер
Яхонтовый интерес Яхонтовый интерес

История синего сапфира насчитывает в России не одно столетие

Grazia
Что наука знает о счастье: 3 исследования Что наука знает о счастье: 3 исследования

Марина Пустильник о том, что же делает человека счастливым

РБК
11 натуральных чистящих средств, которые найдутся у тебя на кухне 11 натуральных чистящих средств, которые найдутся у тебя на кухне

Если жизнь подкинула тебе лимон, почисти им смеситель!

VOICE
Открыть в приложении