Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Все неправда!» Тайная причина, почему ни один мотоцикл не ездит быстрее 300 км/ч «Все неправда!» Тайная причина, почему ни один мотоцикл не ездит быстрее 300 км/ч

Почему у мотоциклов есть ограничения по скорости?

ТехИнсайдер
Такие маленькие, но такие полезные: 7 удивительных преимуществ семян чиа и как правильно их употреблять Такие маленькие, но такие полезные: 7 удивительных преимуществ семян чиа и как правильно их употреблять

Этот крошечный суперпродукт поддерживает здоровье пищеварительной системы

ТехИнсайдер
«Королева небес»: Что известно о самолете за $400 миллионов, который Катар подарил Трампу «Королева небес»: Что известно о самолете за $400 миллионов, который Катар подарил Трампу

Как Америке катарцы подарили самолет.

Maxim
Как ускорить метаболизм Как ускорить метаболизм

12 способов похудеть

Лиза
Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов

Как две девушки сделали бизнес на блюдах с яйцами?

Forbes
Перезапись страшных воспоминаний мышей разорвала связь с изначальной нейронной сетью Перезапись страшных воспоминаний мышей разорвала связь с изначальной нейронной сетью

Нейроны, хранящие страшное воспоминание мышей, поменяли паттерн кодирования

N+1
«В России в принципе не очень хорошо с памятью» «В России в принципе не очень хорошо с памятью»

Как бывший журналист пытается вернуть одному селу его прошлое

Weekend
Так и не стали взрослыми: дети-актеры, которые рано умерли – самые трагические истории Так и не стали взрослыми: дети-актеры, которые рано умерли – самые трагические истории

У них впереди была целая жизнь, но, увы, она внезапно оборвалась.

VOICE
Красивый загар Красивый загар

Реально ли стать шоколадной в максимально короткое время?

Лиза
Секс без обязательств: вред или польза — узнайте правду Секс без обязательств: вред или польза — узнайте правду

О плюсах и минусах мимолетных встреч

Psychologies
Что за игра Genshin Impact и почему она так популярна Что за игра Genshin Impact и почему она так популярна

Как игра китайской студии miHoYo стала настоящим феноменом

Maxim
Во-первых, это красиво… Как французский DS меняет наши представления об автомобильном интерьере Во-первых, это красиво… Как французский DS меняет наши представления об автомобильном интерьере

Компания DS Automobiles поделилась своим видением футуристических интерьеров

4x4 Club
Нейросетевой коллапс: почему вскоре может остановиться развитие алгоритмов ИИ Нейросетевой коллапс: почему вскоре может остановиться развитие алгоритмов ИИ

По оценке ученых, уже скоро качество нейросетей может стремительно деградировать

Forbes
История разводов в России История разводов в России

Как в Древней Руси избавлялись от неверных мужей и жен?

Лиза
Новая сцена Александринского театра Новая сцена Александринского театра

Команда Александринки сделала новую сцену прогрессивным междисцплинарным центром

Собака.ru
5 самых распространенных мифов о потере веса из социальных сетей 5 самых распространенных мифов о потере веса из социальных сетей

Какие мифы о диетах являются "красными флагами"?

ТехИнсайдер
Вегетарианка и чудачка: почему друзья Ильи Репина не любили его жену Наталью Нордман Вегетарианка и чудачка: почему друзья Ильи Репина не любили его жену Наталью Нордман

Какой была жена Ильи Репина Наталья Нордман?

Forbes
Бородатые свиньи помогли ботаникам открыть первую пальму с подземными цветками и плодами Бородатые свиньи помогли ботаникам открыть первую пальму с подземными цветками и плодами

Ботаники описали первую пальму, у которой цветки и плоды развиваются под землей

N+1
Трупная ткань может стать «эликсиром молодости» для кожи! Попробуете? Трупная ткань может стать «эликсиром молодости» для кожи! Попробуете?

Трупные клетки помогут вашей коже омолодиться

ТехИнсайдер
Серийный убийца, орудовашвий в 1980-е, сдался полиции в 2023 году! Совесть замучила? Серийный убийца, орудовашвий в 1980-е, сдался полиции в 2023 году! Совесть замучила?

Почему серийный убийца явился с повинной?

ТехИнсайдер
Ошибка записи на диск Steam: 10 советов, как устранить эту проблему Ошибка записи на диск Steam: 10 советов, как устранить эту проблему

10 рабочих способов устранить ошибку записи на диск Steam

CHIP
Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов Что можно есть ночью, если ты не можешь уснуть и умираешь с голоду: большой список от диетологов

Держи список блюд и продуктов, которыми можно перекусить посреди ночи

VOICE
Как на первом свидании определить, подходит ли женщина вам в сексе Как на первом свидании определить, подходит ли женщина вам в сексе

Можно ли на первом свидании понять, как проявит себя женщина в сексе?

Psychologies
Нужно ли промывать рис перед готовкой: мнение экспертов Нужно ли промывать рис перед готовкой: мнение экспертов

Зачем люди промывают рис?

ТехИнсайдер
Некоронованная правительница Франции: кем была маркиза де Помпадур Некоронованная правительница Франции: кем была маркиза де Помпадур

Какое значение в истории Франции сыграла маркиза де Помпадур?

Forbes
Геймпад для управления и никакой сертификации: что известно об OceanGate, батискаф которой затонул возле «Титаника» Геймпад для управления и никакой сертификации: что известно об OceanGate, батискаф которой затонул возле «Титаника»

OceanGate: как был устроен «Титан» и почему он затонул?

VC.RU
Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку Новый метод лечения малярии: паразита, передающего болезнь, можно сбить с толку

Если дезориентировать паразита, он не сможет заражать человека и размножаться

ТехИнсайдер
Жуткая сказка Андрея Подшибякина «Последний день лета» Жуткая сказка Андрея Подшибякина «Последний день лета»

Отрывок из триллера Андрея Подшибякина «Последний день лета»

СНОБ
«Наш мозг защищен от расшифровки мыслей»: почему не нужно бояться нейрочипов «Наш мозг защищен от расшифровки мыслей»: почему не нужно бояться нейрочипов

Почему нейроимпланты не превратят нас в армию киборгов

Forbes
Школа юмора и любви к себе и окружающим: каким получился финал сериала «Тед Лассо» Школа юмора и любви к себе и окружающим: каким получился финал сериала «Тед Лассо»

В чем секрет успеха «Теда Лассо» и каким получился последний сезон

Forbes
Открыть в приложении