Что такое метод SAE Match и как он поможет заглянуть в «душу» ИИ?

ForbesHi-Tech

Заглянули под капот: ученые выяснили, как ИИ принимает решения на разных этапах

Роман Рожков

Фото Getty Images

Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый метод, который помогает понять, почему ИИ-модель приняла то или иное решение в процессе вычисления, и при необходимости повлиять на нее, узнал Forbes. По мнению экспертов, этот метод, названный SAE Match, может помочь преодолеть эффект «черного ящика» для бизнеса и потенциально подтолкнуть вперед весь рынок, поскольку компании начнут больше доверять технологии.

В лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новый научный метод под названием SAE Match, который позволяет заглянуть внутрь искусственного интеллекта, выяснить, в какой момент ИИ начинает давать неправильные или нежелательные ответы, и вовремя скорректировать их, рассказали Forbes в компании. «Это прорывной шаг на пути к более прозрачным, точным и понятным алгоритмам, что особенно важно при внедрении ИИ в критически важные сферы — такие, как медицина, финансы и безопасность», — утверждают в Т-банке.

В чем суть открытия

Метод SAE Match относится к области интерпретируемости ИИ, главная цель которой — сделать работу ИИ более прозрачной и понятной для человека, чтобы можно было отслеживать, как модель обрабатывает информацию, почему она принимает те или иные решения, и впоследствии повысить точность ответов.

Современные языковые модели состоят из нескольких слоев, каждый из которых использует результат предыдущего: так модель старается улучшить свои предсказания слой за слоем, поясняют в Т-банке: «Однако иногда модель может выдавать недостоверную или даже оскорбительную информацию. Ранее не существовало метода, который позволял бы проследить, как концепции изменяются от слоя к слою. SAE Match стал первым инструментом, который не просто фиксирует концепции на отдельных слоях, а анализирует их эволюцию в процессе вычислений». Эксперименты на ряде моделей показали, что он помогает отслеживать признаки, которые остаются неизменными на нескольких слоях сети, указывают в компании: «Это делает поведение ИИ более предсказуемым и понятным, в том числе дает возможность контролировать процесс генерации текста, а не просто накладывать внешние ограничения или обучать модель на новых данных, что дорого и требует больших вычислительных ресурсов».

Кроме того, как заверяют авторы метода (ими указаны Никита Балаганский, Ян Максимов и Даниил Гаврилов), SAE Match не требует дополнительных данных или дообучения модели, что делает его гораздо более доступным, чем другие методы контроля работы ИИ: «Это особенно важно для небольших команд, которые не могут позволить себе сбор и обработку больших наборов данных». Также метод, по их словам, позволяет отслеживать, когда модель начинает предсказывать нежелательные или потенциально опасные фразы, и предотвращать их появление, это поможет создавать более безопасные и этичные решения на базе ИИ.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Трое в лодке: на ком лежит ответственность за кибербезопасность Трое в лодке: на ком лежит ответственность за кибербезопасность

Кто виноват в том, что хакерам удалось провести успешную кибератаку?

Forbes
Дочери феи и дракона: как сестры Чынг собрали армию и освободили Древний Вьетнам Дочери феи и дракона: как сестры Чынг собрали армию и освободили Древний Вьетнам

Как сестры Чынг освободили Вьетнам из-под гнета Китая?

Forbes
Геймификация, «какашки» и честность: как бренду привлечь зумеров Геймификация, «какашки» и честность: как бренду привлечь зумеров

Что поможет бренду зацепить поколение Z

Inc.
Жила-была золотая рыбка Жила-была золотая рыбка

Как золотые рыбки из аквариумов угрожают экологии

Наука и жизнь
Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь Это не лень, а депрессия: 5 сигналов, что тебе нужна помощь

Как отличить депрессию от усталости или лени

VOICE
«И всюду он гусар» «И всюду он гусар»

Лейб-гвардию Гусарского полка восторженно воспевали в стихах и на полотнах

Дилетант
И бедные, и богатые: почему изменение климата все больше осложняет жизнь женщин И бедные, и богатые: почему изменение климата все больше осложняет жизнь женщин

О том, как изменение климата сказывается на здоровье жительниц больших городов

Forbes
Зажигаем звезды Зажигаем звезды

Подборка историй о людях, которые двигают прогресс небывалым

ТехИнсайдер
Распоследний магнат Распоследний магнат

«Киностудия» — самопародия голливудских остряков на киноиндустрию

Weekend
Со льдом и безо льда Со льдом и безо льда

О достижениях Евгении Медведевой знают все. А чем она готова удивить в будущем?

VOICE
Учеба без отрыва от работы Учеба без отрыва от работы

Выстроить систему обучения сотрудников можно и без корпоративного университета

Ведомости
5 психологических терминов, которые пока не перевели на русский язык 5 психологических терминов, которые пока не перевели на русский язык

Пять психологических терминов из англоязычного интернета

РБК
Джозефу Пулицеру — 177 лет: кем был создатель главной журналистской премии Джозефу Пулицеру — 177 лет: кем был создатель главной журналистской премии

История создателя «Оскара» в журналистике — журналиста Джозефа Пулицера

Правила жизни
Монеты в восточной пыли Монеты в восточной пыли

Важным источником наших знаний об античной истории являются монеты

Знание – сила
Разбираем типичные проблемы российских предпринимателей Разбираем типичные проблемы российских предпринимателей

Список из важнейших ошибок российских предпринимателей

Inc.
Робопчелу научили садиться по-комарьи Робопчелу научили садиться по-комарьи

Инженеры разработали шасси для миниатюрного орнитоптера RoboBee

N+1
Месть и немного любви: пять лучших фильмов этой весны о женщинах Месть и немного любви: пять лучших фильмов этой весны о женщинах

Рассказываем о пяти фильмах про женщин, которые стоит посмотреть

Forbes
Range Rover Classic от Vinile – рестомод, сделанный «по фану» Range Rover Classic от Vinile – рестомод, сделанный «по фану»

Vinile «переосмысляет» подход к восстановлению классических внедорожников

4x4 Club
Кочевая кузница Кочевая кузница

Путешествие в край шаманов за секретами якутских мастеров

Вокруг света
Режьте на здоровье: как выбрать правильный секатор для сада Режьте на здоровье: как выбрать правильный секатор для сада

Как выбрать механический секатор, чтобы меньше вреда растениям

ТехИнсайдер
«Картинки» натуралиста «Картинки» натуралиста

Что отражено в русских названиях птиц из семейства куликов?

Наука и жизнь
От полезных советов до создания ИИ-жен: как люди используют чат-ботов От полезных советов до создания ИИ-жен: как люди используют чат-ботов

Как люди пользуются персонифицированными чат-ботами?

Inc.
Сарацинка, воительница, христианка Сарацинка, воительница, христианка

В эпоху джахилийи у разных племен бедуинов положение женщин различалось

Знание – сила
«Мы можем подобрать рекламные механики для любого бизнеса» «Мы можем подобрать рекламные механики для любого бизнеса»

Дмитрий Константин о том, как создать эффективную рекламную платформу

Деньги
Тайваньские макаки поохотились на пчел-листорезов Тайваньские макаки поохотились на пчел-листорезов

Макаки в ботаническом саду Фушань ловят и едят пчел-листорезов

N+1
Бодрость и предубеждение Бодрость и предубеждение

Может ли здоровый образ жизни принести вред вместо пользы? К сожалению, да

VOICE
Лошади стали прекрасными бегунами из-за генетической ошибки Лошади стали прекрасными бегунами из-за генетической ошибки

Мутация, из-за которой лошади должны были вымереть, но стали отличными бегунами

ТехИнсайдер
Волна долговых кризисов неизбежна Волна долговых кризисов неизбежна

Как институты развития могут работать в международных проектах

Эксперт
Питание по расписанию. Без чувства голода Питание по расписанию. Без чувства голода

Достичь идеального веса, не голодая? Это возможно с хронодиетой

Лиза
Зажигая маяки Зажигая маяки

Зимнее бездорожье длиной в 2 недели: что манит участников «Экспедиции-Трофи»?

Отдых в России
Открыть в приложении