Инструмент, который может объяснить, как работают модели ИИ

ТехИнсайдерHi-Tech

Эксперт объяснил, почему ИИ в одних задачах превосходит человека, а в других делает дикие ошибки

Ученые из Университета Брауна разработали инструмент, который может объяснить, как работают модели ИИ, классифицирующие изображения, работают и почему они ошибаются. Такие инструменты необходимы и для исследования систем ИИ и для их контроля и повышения надежности.

Владимир Губайловский

5eded2c2e7f821ffb2bb24d576a78b5d_ce_888x592x39x0.jpg
Астронавт, которого система ИИ спутала с лопатой. Brown University

Почему системы искусственного интеллекта могут превзойти человека в некоторых визуальных задачах, например, в распознавании лиц, но допускают вопиющие ошибки в других — например, про изображение астронавта, говорят, что это — лопата? 

К

ак и человеческий мозг, системы искусственного интеллекта опираются на определенные стратегии обработки и классификации изображений. И, как и в случае с человеческим мозгом, мало что известно о точной природе этих процессов. Ученые из Института науки о мозге Карни при Университете Брауна разбираются с тем, как обе эти системы работают, и добились определенного прогресса в понимании обеих систем.

«И человеческий мозг, и глубокие нейронные сети, на которых основаны системы искусственного интеллекта, называют черными ящиками, потому что мы не знаем точно, что происходит внутри», — говорит Томас Серр, профессор когнитивных, лингвистических и психологических наук и информатики в Брауне. — «Работа, которую мы проводим в Центре вычислительной науки о мозге Карни, направлена на то, чтобы понять и охарактеризовать механизмы мозга, связанные с обучением, зрением и другими видами деятельности, и выявить сходства и различия процессе в мозге с системами искусственного интеллекта».

Глубокие нейронные сети используют алгоритмы обучения для обработки изображений, говорит Серр. Они обучаются на массивных наборах данных, таких как ImageNet, который содержит более миллиона изображений, взятых из Интернета и разделенных на тысячи категорий. Обучение в основном заключается в подаче данных в систему ИИ, пояснил он.

«Мы не указываем системам ИИ, как обрабатывать изображения — например, какую информацию извлекать из изображений, чтобы иметь возможность их классифицировать», — говорит Серр. — «Система ИИ находит свою собственную стратегию. Затем ученые оценивают точность работы ИИ после обучения, например, система достигает 90% точности при различении тысячи категорий изображений».

Серр и его коллеги из Университета Брауна разрабатывают инструмент, который позволяет пользователям приоткрыть крышку «черного ящика» глубоких нейронных сетей и выяснить, какие стратегии используют системы искусственного интеллекта для обработки изображений.

Проект, названный CRAFT — Concept Recursive Activation FacTorization for Explainability — был совместным проектом с Институтом искусственного и естественного интеллекта Тулузы. В этом месяце он был представлен на конференции IEEE/CVF по компьютерному зрению и распознаванию образов в Ванкувере, Канада.

Серр рассказал о том, как CRAFT анализирует процесс, с помощью которого ИИ «видит» изображения, и объяснил исключительную важность понимания того, чем система компьютерного зрения отличается от человеческой. 

Томас Серр ответил на вопросы Techxplore.com.

Что показывает CRAFT о том, как ИИ обрабатывает изображения?

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как получить максимум пользы для здоровья от велосипеда: 10 самых мудрых (и простых) правил Как получить максимум пользы для здоровья от велосипеда: 10 самых мудрых (и простых) правил

Десять универсальных законов, помогающих всем освоить велосипед

ТехИнсайдер
5 книг в жанре интеллектуальной прозы, которые стоит прочесть каждому 5 книг в жанре интеллектуальной прозы, которые стоит прочесть каждому

Качественная интеллектуальная проза, которая заставит ваш мозг работать

Maxim
Опасная иллюзия: почему не стоит путать искусственный интеллект с чат-ботами Опасная иллюзия: почему не стоит путать искусственный интеллект с чат-ботами

ИИ — спаситель человечества или его зловещий повелитель?

Forbes
В невероятно древней галактике впервые обнаружена сложная органическая молекула В невероятно древней галактике впервые обнаружена сложная органическая молекула

Космический телескоп Джеймса Уэбба сделал удивительное открытие.

ТехИнсайдер
Почему нам хочется есть: как нейрофизиология объясняет переедание и импульсивные перекусы Почему нам хочется есть: как нейрофизиология объясняет переедание и импульсивные перекусы

Каков ключ к решению проблемы переедания и импульсивных перекусов?

ТехИнсайдер
Даже с маленьким мозгом можно жить. Ученые выяснили интересные факты о Homo naledi Даже с маленьким мозгом можно жить. Ученые выяснили интересные факты о Homo naledi

Мозг у Homo naledi был примерно в три раза меньше, чем у современного человека

ТехИнсайдер
Свежевыжатые соки Свежевыжатые соки

Какие плюсы и минусы скрываются в ароматных соблазнах свежевыжатых соков?

Здоровье
Основатель «Дикой мяты» Андрей Клюкин рассказал о планах на лето, своих принципах и любимой музыке Основатель «Дикой мяты» Андрей Клюкин рассказал о планах на лето, своих принципах и любимой музыке

Андрей Клюкин рассказал, за что не любит музыкальных критиков

СНОБ
И рублем, и советом, и сервисом И рублем, и советом, и сервисом

Развитию туристической отрасли способствует комплексная господдержка

РБК
Психологи объяснили, как найти своего соулмейта Психологи объяснили, как найти своего соулмейта

Кто такой соулмейт и как найти свою родственную душу?

Psychologies
10-летний мальчик после спуска с горки в США остался без головы! Трагичная история 10-летний мальчик после спуска с горки в США остался без головы! Трагичная история

Калеб Шваб буквально лишился головы из-за неудачного спуска с водной горки

ТехИнсайдер
«Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса «Обжигающе горячий»: как чипсы Cheetos навсегда изменили жизнь Ричарда Монтаньеса

Фильм о мексиканце, который завязал с криминалом и устроился на фабрику чипсов

Forbes
В большой депрессии выделили когнитивный биотип В большой депрессии выделили когнитивный биотип

Ученые предложили выделить биотип большого депрессивного расстройства (БДР)

N+1
Если вы пострадали от домашнего насилия: что нужно знать — 9 полезных выводов Если вы пострадали от домашнего насилия: что нужно знать — 9 полезных выводов

Насилие может быть не только физическим

Psychologies
Как сделать подкаст? Пошаговая инструкция для начинающих Как сделать подкаст? Пошаговая инструкция для начинающих

Подкаст: что нужно учитывать при его создании?

Psychologies
Почему электроавтомобили такие дорогие? Почему электроавтомобили такие дорогие?

На электромобиле можно сэкономить, но только в процессе эксплуатации

CHIP
Думскроллинг: как перестать листать новости и уберечь себя от тревоги Думскроллинг: как перестать листать новости и уберечь себя от тревоги

Как перестать настойчивость читать новости? Как успокоиться?

Psychologies
Туманные горизонты Туманные горизонты

Компаниям придется продолжить адаптацию к радикально изменившимся условиям

РБК
Одиночество лидера Одиночество лидера

Одиночество как проявление силы человека в исполнении Николая Рериха

Вокруг света
5 мифов об энергетических напитках 5 мифов об энергетических напитках

Почему некоторые боятся энергетических напитков?

Maxim
«Это слишком сложно»: 50 оправданий людей, которые не хотят меняться, — проверьте себя «Это слишком сложно»: 50 оправданий людей, которые не хотят меняться, — проверьте себя

Почему на предложение изменить мир, начав с себя, мы отвечаем «да, но…»?

Psychologies
Какие модели поведения приводят к разводу с вероятностью более 90% Какие модели поведения приводят к разводу с вероятностью более 90%

Паттерны поведения в отношениях, которые приводят к разводу

Psychologies
Как выявить буллинг: 13 признаков, что ребенок столкнулся с издевательствами в школе Как выявить буллинг: 13 признаков, что ребенок столкнулся с издевательствами в школе

Как выяснить, что ребенок стал жертвой буллинга?

Psychologies
Тоновый язык декодировали с помощью многопоточной нейронной сети Тоновый язык декодировали с помощью многопоточной нейронной сети

Нейронная сеть расшифровала тона и слоги независимо друг от друга

N+1
Дроны, тепловизоры и 3D-модели: технологии, которые спасают наши леса Дроны, тепловизоры и 3D-модели: технологии, которые спасают наши леса

Какие современные технологии помогают спасать деревья с воздуха

ТехИнсайдер
Профессор из Стэнфорда уверен, что инопланетяне уже на Земле, но люди ничего не замечают! Согласны? Профессор из Стэнфорда уверен, что инопланетяне уже на Земле, но люди ничего не замечают! Согласны?

Неужели инопланетяне были на Земле? Как это проверить?

ТехИнсайдер
Ледяной дрейф Ледяной дрейф

21 мая в России отметили день полярника. И дата выбрана неслучайно

Отдых в России
Как космические путешествия медленно убивают иммунитет человека: что ждет астронавтов будущего Как космические путешествия медленно убивают иммунитет человека: что ждет астронавтов будущего

Условия космических путешествий изменяют экспрессию генов астронавтов

ТехИнсайдер
К рекордам готовы К рекордам готовы

5 шагов не позволить себе отступить от похудения

Лиза
Периферийное зрение Периферийное зрение

Карина Бесолти в своих работах отстаивает частного человека и его голос

СНОБ
Открыть в приложении