Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Что знает Мариэль?»: зачем колкое драмеди меняет местами детей и родителей «Что знает Мариэль?»: зачем колкое драмеди меняет местами детей и родителей

Как «Что знает Мариэль?» по-новому рассматривает детско-родительские отношения

Forbes
Оппонента не выбирают Оппонента не выбирают

Как изменилась политическая картина в Турции после ареста мэра Стамбула

Эксперт
HDD и SSD накопители — в чем разница и стоит ли переплачивать? HDD и SSD накопители — в чем разница и стоит ли переплачивать?

HDD и SSD: надежный винтаж против скорости света и цены космоса

ТехИнсайдер
К чему приведет отмена лимитов по IT-ипотеке К чему приведет отмена лимитов по IT-ипотеке

Банки положительно оценивают отмену лимитов по IT-ипотеке

Ведомости
Не только японская манга: какие комиксы выпускаются в разных странах и чем они интересны Не только японская манга: какие комиксы выпускаются в разных странах и чем они интересны

Почему истории в картинках стали такими популярными по всему миру?

ТехИнсайдер
Созданы в России Созданы в России

Доля семян российской селекции в посевах приблизилась к 68%

Агроинвестор
От Марса до квантовой физики: 11 книг для любителей научной фантастики От Марса до квантовой физики: 11 книг для любителей научной фантастики

Что ждет человечество в будущем? Фантасты размышляют в своих книгах

Maxim
Индейка на взлете Индейка на взлете

Российское производство мяса индейки выросло почти на 4%

Агроинвестор
«Отсутствие масштабных идей сдерживает приток инвестиций» «Отсутствие масштабных идей сдерживает приток инвестиций»

На чьи деньги стоит рассчитывать российским стартапам

Эксперт
«А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход «А как же шарики?!» Человечество исчерпает запасы гелия быстрее, чем нефти или газа – но есть выход

Поставщики начали отказывать в поставках гелия даже научным лабораториям

ТехИнсайдер
Это не джентльмены Это не джентльмены

Выходит сериал «Гангстерленд», где первые эпизоды снял Гай Ритчи

Weekend
Матч-пойнт Матч-пойнт

В чем феномен падела, как начать в него играть и насколько он травмоопасен?

Men Today
Путь от бастарда до монарха Путь от бастарда до монарха

Как бастарду Вильгельму I удалось превратить свою мечту о короне в реальность?

Дилетант
Эпидемия цифрового слабоумия: почему нынешние поколения глупее предыдущих Эпидемия цифрового слабоумия: почему нынешние поколения глупее предыдущих

Почему из-за развития цифровых технологий снижаются когнитивные функции человека

Монокль
Химики надышали аммиака в микрокапли воды Химики надышали аммиака в микрокапли воды

Что они представляют собой заряженные частицы, детектируемые с микрокаплями воды

N+1
Зажигаем звезды Зажигаем звезды

Подборка историй о людях, которые двигают прогресс небывалым

ТехИнсайдер
Новое прочтение Новое прочтение

Современная архитектура и продуманный классический интерьер: дом в Подмосковье

SALON-Interior
Робопчелу научили садиться по-комарьи Робопчелу научили садиться по-комарьи

Инженеры разработали шасси для миниатюрного орнитоптера RoboBee

N+1
«Важно знать и понимать своего посетителя» «Важно знать и понимать своего посетителя»

Роман Валериевич Ковриков о том, зачем сегодня идут в музей

Санкт-Петербургский университет
Остановить внутреннего паникера Остановить внутреннего паникера

Как утихомирить внутреннего тревожного паникера: советы от психотерапевтов

Psychologies
Социальные круги: почему мы не можем дружить со всеми Социальные круги: почему мы не можем дружить со всеми

Отрывок из книги «Homo Amicus. Деловой человек в поисках друга»

Forbes
Клещ выходит на охоту Клещ выходит на охоту

Чем опасны клещи?

Лиза
Российское бьюти-чудо: как меняется отечественная индустрия косметики Российское бьюти-чудо: как меняется отечественная индустрия косметики

Как российская косметика становится полноценным трендсеттером

РБК
10 неожиданных вопросов Эльдару Хакимову 10 неожиданных вопросов Эльдару Хакимову

Эльдар Хакимов о том, зачем он говорит с домовым и чем плохи затянувшиеся ужины

VOICE
Мир, дружба, Мир, дружба,

Актеры Кирилл Кяро и Даниил Страхов — о дружбе, работе и “Гипнозисеˮ

Men Today
Арена на двоих Арена на двоих

Как исторически складывались отношения России и США

Эксперт
Раскрыта cтратегия, которой следуют успешные люди на пути к большой цели Раскрыта cтратегия, которой следуют успешные люди на пути к большой цели

Какими качествами должны обладать эффективные лидеры и сотрудники

Inc.
Продлили срок: что можно сделать из бывших тюрем Продлили срок: что можно сделать из бывших тюрем

Как бизнесмены и государство развивают бывшие тюрьмы

Forbes
ПВЗ под прицелом, маркетплейсам приготовиться ПВЗ под прицелом, маркетплейсам приготовиться

Как интерес ФНС к числу самозанятых поменяет бизнес-модель цифровых платформ?

Монокль
От жуткого хоррора до ироничной пародии: как кино переосмысливает классические сказки на новый лад От жуткого хоррора до ироничной пародии: как кино переосмысливает классические сказки на новый лад

Оригинальные проекты, переосмысливающие классические сказки в неожиданном ключе

Правила жизни
Открыть в приложении