Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Издержки профессии: почему у гонщиков Формулы-1 такие большие шеи Издержки профессии: почему у гонщиков Формулы-1 такие большие шеи

Гонщик Формулы-1 — не просто водитель, он настоящий спортсмен

ТехИнсайдер
Маркетплейс для разработчиков: как развивать российский GitHub Маркетплейс для разработчиков: как развивать российский GitHub

Какие существуют способы развития сообщества open source в России

Forbes
Исследователи создали роботизированную руку, управляемую силой мысли Исследователи создали роботизированную руку, управляемую силой мысли

Ученые позволили парализованному мужчине управлять роботизированной рукой

Inc.
Когда нельзя идти на компромисс: 7 ситуаций — мнение семейного психолога Когда нельзя идти на компромисс: 7 ситуаций — мнение семейного психолога

Всегда ли стоит договариваться и идти на уступки?

Psychologies
Как стать лучшим мужчиной в постели девушки: секс-эксперт Трейси Кокс поделилась секретами Как стать лучшим мужчиной в постели девушки: секс-эксперт Трейси Кокс поделилась секретами

Что служит причиной неудовлетворенности женщины и как это исправить

Maxim
Бассейн на даче: это сложно или нет? Бассейн на даче: это сложно или нет?

Разбираемся, чего от бассейна на дачном участке больше — пользы или проблем?

CHIP
Ароматические углеводороды покрасили тела Пояса Койпера в красный цвет Ароматические углеводороды покрасили тела Пояса Койпера в красный цвет

Астрономы подтвердили идею образования красной окраски тел Пояса Койпера

N+1
«Среди взрослых куча злых — зачем детям их уважать?»: монолог режиссера Бориса Хлебникова «Среди взрослых куча злых — зачем детям их уважать?»: монолог режиссера Бориса Хлебникова

Режиссер Борис Хлебников — о том, как не давить на детей

Psychologies
Как поступить, если жена призналась в измене? Как поступить, если жена призналась в измене?

Психолог делится взглядом на причины, тему выбора и способы принятия измены

Psychologies
7 cамых известных советских актеров одной роли 7 cамых известных советских актеров одной роли

Таланты, которых публика помнит лишь за одного-единственного персонажа

Maxim
Самый советский художник Самый советский художник

Памяти Ильи Кабакова

Weekend
Александр Тоболь Александр Тоболь

Вице-президент VK и техдир ВКонтакте играет в шахматы с четырех лет

Собака.ru
Филлеры тут, филлеры там: как зумеры делают косметологию и пластическую хирургию модной Филлеры тут, филлеры там: как зумеры делают косметологию и пластическую хирургию модной

Почему косметология и пластическая хирургия так востребована среди молодежи?

Psychologies
Исследователи попросили ChatGPT разработать кадровую политику компании. Он не справился, но помог Исследователи попросили ChatGPT разработать кадровую политику компании. Он не справился, но помог

Какую помощь может оказать чат-бот при формировании кадровой политики

ТехИнсайдер
Как подобрать форму носа по типу лица: лучшая памятка от хирурга перед ринопластикой Как подобрать форму носа по типу лица: лучшая памятка от хирурга перед ринопластикой

Врач рассказал, как грамотно подготовиться к пластике носа

VOICE
Перевод стрелок. Почему мир отказывается от перехода на летнее время Перевод стрелок. Почему мир отказывается от перехода на летнее время

Зачем в России увеличивали световой день и почему мир отказывается от этого

СНОБ
У ИИ бывают «галлюцинации», но не такие, как у человека У ИИ бывают «галлюцинации», но не такие, как у человека

Какие галлюцинации видит искусственный интеллект?

ТехИнсайдер
Ты и бывший: что остается после финала? Ты и бывший: что остается после финала?

Любовь однажды заканчивается, но след от нее растягивается на годы

VOICE
Платья Дороти и «суеверные туфли»: что носила звезда мюзиклов Джуди Гарленд Платья Дороти и «суеверные туфли»: что носила звезда мюзиклов Джуди Гарленд

Джуди Гарленд не стала иконой стиля, но свой след в моде оставила

Правила жизни
«Ношу эту рубашку 20 лет». Пять историй о долгожителях гардероба «Ношу эту рубашку 20 лет». Пять историй о долгожителях гардероба

Девушки рассказали об одежде, обуви и сумках, которые они купили 10-20 лет

РБК
Ешь, пей, танцуй Ешь, пей, танцуй

Ереван — одно из самых трендовых направлений года.

Robb Report
Каким был Эрнесто Че Гевара — рассказывает его брат Каким был Эрнесто Че Гевара — рассказывает его брат

Младший брат Че рассказывает об их детстве и о жизни в тени протеста

Правила жизни
Море зовет: 10 организаций, занимающихся защитой океанов Море зовет: 10 организаций, занимающихся защитой океанов

Рассказываем о тех, кто спасает побережья от загрязнения и бережет морскую фауну

Правила жизни
На земле и на суше: зачем люксовые бренды выступают с экологическими инициативами На земле и на суше: зачем люксовые бренды выступают с экологическими инициативами

Какой вклад индустрия роскоши вносит в сохранение флоры и фауны на планете

Forbes
Верните деньги Верните деньги

Что делать, если оказана некачественная услуга

Лиза
Красивый загар Красивый загар

Реально ли стать шоколадной в максимально короткое время?

Лиза
Fine wine. Как выбрать вино для коллекции и инвестирования Fine wine. Как выбрать вино для коллекции и инвестирования

Коллекционирование вин — давно уже не просто романтическое хобби

Правила жизни
«Даю Теоне от 50 до 100 тысяч и плачу алименты»: Курбан Омаров рассказал о тратах на дочь от Ксении Бородиной «Даю Теоне от 50 до 100 тысяч и плачу алименты»: Курбан Омаров рассказал о тратах на дочь от Ксении Бородиной

Курбан Омаров откровенно рассказал о разводе с Ксенией Бородиной

VOICE
Чтение — сила Чтение — сила

«Библиотекарь»: экранизация актуализировавшегося романа Михаила Елизарова

Weekend
«Базовая задача — регулирование трансграничного рынка» «Базовая задача — регулирование трансграничного рынка»

Каких мер ожидают от государства производители биологически активных добавок

РБК
Открыть в приложении