Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как Гарвард придумал систему отбора из-за неприязни к евреям и зачем ему спортсмены Как Гарвард придумал систему отбора из-за неприязни к евреям и зачем ему спортсмены

Какие механизмы ведут к сдвигам в поведении и убеждениях людей?

Forbes
Жуткая история Крис Кремерс и Лизанны Фрун, которые исчезли во время похода в Панаме Жуткая история Крис Кремерс и Лизанны Фрун, которые исчезли во время похода в Панаме

Жуткая история туристок, от которых остались только кости

ТехИнсайдер
Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании Можно ли плавать в Apple Watch: разбираемся в нюансах умных часов компании

Можно ли плавать в Apple Watch? Давайте разбираться. Нюансов здесь хватает

ТехИнсайдер
Каждая десятая Каждая десятая

Об эндометриозе, его симптомах и способах справиться с болезнью

VOICE
Из мужского гардероба — в одежду для Барби: как розовый стал женским цветом Из мужского гардероба — в одежду для Барби: как розовый стал женским цветом

Как розовый стал воплощением гендерных стереотипов

Forbes
IDеальное преступление IDеальное преступление

Четыре года назад «Популярная механика» опубликовала свой первый кибердетектив

ТехИнсайдер
Хватит играть в GTA: топ-5 крутых игр с открытым миром на ПК Хватит играть в GTA: топ-5 крутых игр с открытым миром на ПК

Каким играм с открытым миром стоит уделить время?

Maxim
Рукопожатие крепкое Рукопожатие крепкое

Как развивается рынок высокотехнологичных протезов

Эксперт
Что наука знает о счастье: 3 исследования Что наука знает о счастье: 3 исследования

Марина Пустильник о том, что же делает человека счастливым

РБК
5 лучших ролей Криспина Гловера 5 лучших ролей Криспина Гловера

4 фильма, где сыграл замечательный актер Криспин Гловер. Смотрим и вспоминаем!

Maxim
Революция как массовый психоз? Революция как массовый психоз?

Учёный или шарлатан? Как разбирали труды Чижевского в 1940 году

Дилетант
Запечатанный воздух Запечатанный воздух

Японские семейные тайны Сахалина

Weekend
На борту затонувшего средневекового китайского судна нашли сосуды из-под алкогольных напитков На борту затонувшего средневекового китайского судна нашли сосуды из-под алкогольных напитков

Находки, собранные во время раскопок средневекового судна «Наньхай №1»

N+1
Блеск и несчастья «Великого Гэтсби» Блеск и несчастья «Великого Гэтсби»

Краткая история главного американского произведения 1920‑х

Weekend
Цена свободы Цена свободы

Свобода от российских энергоресурсов обошлась экономике Евросоюза в €1,3 трлн

Ведомости
Светлый праздник Светлый праздник

Празднуем Пасху в путешествии: едем услышать самые красивые колокольные звоны

Лиза
Я, мы, робот: как андроиды проникли в наши дома и головы Я, мы, робот: как андроиды проникли в наши дома и головы

О том, как роботы медленно, но верно становятся частью нашей жизни

Forbes
3 сильные стороны интровертов, которые помогут им стать успешными 3 сильные стороны интровертов, которые помогут им стать успешными

Интроверты наделены множеством суперспособностей — нужно просто знать их

Inc.
Дочери феи и дракона: как сестры Чынг собрали армию и освободили Древний Вьетнам Дочери феи и дракона: как сестры Чынг собрали армию и освободили Древний Вьетнам

Как сестры Чынг освободили Вьетнам из-под гнета Китая?

Forbes
Ликвидность на бумаге Ликвидность на бумаге

Почему в банковской системе России сохраняется структурный профицит ликвидности

Ведомости
Что вас бесит больше всего: психологический тест с выбором картинки Что вас бесит больше всего: психологический тест с выбором картинки

Пройдите тест и узнайте, от чего может исходить ваша агрессия!

ТехИнсайдер
Экономисты описали выбор властей между «разумной достаточностью» и шоком Экономисты описали выбор властей между «разумной достаточностью» и шоком

Экономика оказалась между двумя сценариями поведения финансовых властей

Forbes
Личное пространство Личное пространство

Респектабельный минимализм с авторскими решениями и иконами дизайна

SALON-Interior
Городские острова тепла вдвое снизили смертность людей из-за холода Городские острова тепла вдвое снизили смертность людей из-за холода

Городской остров тепла снижает смертность населения от холода на 51,5 процента

N+1
От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России

Зачем нужна биометрия и как ее использовать в России

ТехИнсайдер
Взлетная полоса Взлетная полоса

Брутальный и динамичный интерьер для молодого человека

SALON-Interior
Четко по телу Четко по телу

Как «сбросить апельсиновую корку» с кожи?

Лиза
Мы одни из них: в чем величие сериала The Last of Us Мы одни из них: в чем величие сериала The Last of Us

Что именно выделяет «Одних из нас» на фоне других сериалов на подобную тематику

Правила жизни
«А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход «А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход

Поставщики начали отказывать в поставках гелия даже научным лабораториям

ТехИнсайдер
Борьба со старением: новые подходы и тренды Борьба со старением: новые подходы и тренды

Что сегодня предлагает от старения превентивная медицина?

РБК
Открыть в приложении