Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Работа с умом: каков потенциал генеративного ИИ для роста производительности в России Работа с умом: каков потенциал генеративного ИИ для роста производительности в России

Ученые проанализировали влияние генеративного ИИ на задачи и профессии

Forbes
Территория детства Территория детства

7 особенностей дизайна, которые точно понравятся твоему ребенку

Лиза
Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников

Как Мэй Хабиб создает ПО на базе ИИ, которое берет на себя рутинные задачи

Forbes
Николай Лебедев: Сейчас я бы очень хотел снять космическую фантастику Николай Лебедев: Сейчас я бы очень хотел снять космическую фантастику

Как Н. Лебедев стал постановщиком «Кракена» и чем ему помог плюшевый осьминог

Ведомости
Почему в жару отекают ноги и как снять отек Почему в жару отекают ноги и как снять отек

В чем причины отеков лодыжек и стоп в жару

РБК
Библиотекам подключат рекомендации Библиотекам подключат рекомендации

Как помочь библиотекам выявлять нарушающие законы издания?

Ведомости
Рома Peeks Рома Peeks

Рома Peeks рисует порцию кидкорных ковров и раскрывает этимологию фамилии

Собака.ru
Денис Филиппов: Больших проблем на рынке жилья я бы не прогнозировал Денис Филиппов: Больших проблем на рынке жилья я бы не прогнозировал

Гендиректор фонда Дом.РФ — какие арендные проекты поддерживает государство

Ведомости
Полина Бондарева Полина Бондарева

Полина Бондарева о том, как прописать в квартире искусство и инсталляции

Собака.ru
«Огонь-батареи»: как изменились космические солнечные батареи за 67 лет «Огонь-батареи»: как изменились космические солнечные батареи за 67 лет

Какой путь прошли солнечные элементы космического типа с момента изобретения?

ТехИнсайдер
Есть, чтобы жить Есть, чтобы жить

Люди в три раза меньше болели бы раком, если бы только правильно питались

Лиза
Недоросли, скотинины, бригадиры и Стародум Недоросли, скотинины, бригадиры и Стародум

И спустя 200 лет пьесы Дениса Фонвизина остаются интересны и востребованы

Знание – сила
Стоят ли дорогие фены своих денег: мнение парикмахеров Стоят ли дорогие фены своих денег: мнение парикмахеров

Нужен ли тебе фен за тридцать три, а не за три тысячи рублей? Давай разбираться!

VOICE
Мужчина мечты Мужчина мечты

Хочет ли Ярослав Могильников остаться в кино и как проходят его первые свидания

VOICE
Не ешь пирожок! Не ешь пирожок!

Составляем правильное меню для тебя (без булочек!)

VOICE
«Мамонты следующие»: Colossal Biosciences вернула к жизни вымерших 10 тысяч лет назад лютоволков «Мамонты следующие»: Colossal Biosciences вернула к жизни вымерших 10 тысяч лет назад лютоволков

Как ученым Colossal Biosciences удалось произвести на свет щенков лютоволка

VC.RU
Джинсовая революция Джинсовая революция

Как бренд Guess однажды навсегда изменил всю джинсовую индустрию

Grazia
Впервые в лаборатории воссоздана нервная цепь человеческой боли Впервые в лаборатории воссоздана нервная цепь человеческой боли

Ученые воспроизвели важный нервный путь, из-за которого человек чувствует боль

ТехИнсайдер
Денис Шевченко Денис Шевченко

Сентиментальный твист и «Новая Академия» в квартире Дениса Шевченко

Собака.ru
Кто такая пикми: разбираем феномен пикми-герл с психологами Кто такая пикми: разбираем феномен пикми-герл с психологами

Что стоит за пикми-поведением?

РБК
Заряженные капли отказались разбрызгиваться при ударе о твердую поверхность Заряженные капли отказались разбрызгиваться при ударе о твердую поверхность

Электричество вокруг заряженной капли предотвращает ее разбрызгивание

N+1
Техпарад Техпарад

Выстрел «Авророй», космос на 3D-принтере и тактильные виртуальные переживания

ТехИнсайдер
Тайваньские макаки поохотились на пчел-листорезов Тайваньские макаки поохотились на пчел-листорезов

Макаки в ботаническом саду Фушань ловят и едят пчел-листорезов

N+1
Горизонт планирования Горизонт планирования

Актер Ярослав Могильников — о жизни и кино

Men Today
Конкуренты Конкуренты

Какими они были, конкуренты герцога Нормандского?

Дилетант
Разбираем типичные проблемы российских предпринимателей Разбираем типичные проблемы российских предпринимателей

Список из важнейших ошибок российских предпринимателей

Inc.
Инвест-дискаунтер Инвест-дискаунтер

Как Чарльз Шваб научил инвестировать простых американцев

Деньги
Эксперт Фомин рассказал, как предотвратить слежку за переписками на Android Эксперт Фомин рассказал, как предотвратить слежку за переписками на Android

Способы защиты переписок для пользователей Android-устройств

ТехИнсайдер
Матч-пойнт Матч-пойнт

В чем феномен падела, как начать в него играть и насколько он травмоопасен?

Men Today
Москва и коллекционеры Москва и коллекционеры

Москва в последние годы закрепила за собой статус главной площадки арт-рынка

Ведомости
Открыть в приложении