Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Посчитаны риски 175 возможных последствий для здоровья при приеме агонистов ГПП-1 Посчитаны риски 175 возможных последствий для здоровья при приеме агонистов ГПП-1

175 последствий для здоровья при терапии агонистами ГПП-1

N+1
Измена: взгляд с двух сторон. Если неверный партнер — вы Измена: взгляд с двух сторон. Если неверный партнер — вы

Какие чувства испытывает тот, кто изменил своему партнеру?

Psychologies
Ботаники описали новый вид паразитирующих на грибах «волшебных фонариков» с Малайского полуострова Ботаники описали новый вид паразитирующих на грибах «волшебных фонариков» с Малайского полуострова

Как на востоке Малайского полуострова новый вид тисмий

N+1
Чилийская утка и филиппинский селезень вывели потомство с половым диморфизмом Чилийская утка и филиппинский селезень вывели потомство с половым диморфизмом

Орнитологи описали необычный случай гибридизации двух видов уток

N+1
Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно Это не то,что вы подумали: страпонтен, клитория, епитрахиль — слова, за которые вам не должно быть стыдно

О словах, за которые вам не должно быть стыдно, пусть и звучат они забавно

ТехИнсайдер
Нюхай апельсины, полюби лаванду: 5 привычек, которые изменят жизнь к лучшему Нюхай апельсины, полюби лаванду: 5 привычек, которые изменят жизнь к лучшему

Каждая из этих привычек поможет тебе изменить жизнь к лучшему в рекордные сроки

Cosmopolitan
Если вы не смотрели «Наследников», то настоятельно рекомендуем. Потому что это лучшая драма современного телевидения Если вы не смотрели «Наследников», то настоятельно рекомендуем. Потому что это лучшая драма современного телевидения

Почему «Наследники» — лучший учебник по тому, как устроена современная Америка

Esquire
Действительно ли темная тема на компьютере экономит заряд батареи Действительно ли темная тема на компьютере экономит заряд батареи

Поможет ли переход на темную тему продлить работу ПК?

Популярная механика
Рассеянный склероз: причины, симптомы, лечение Рассеянный склероз: причины, симптомы, лечение

Что такое рассеянный склероз и можно ли его вылечить

РБК
Приянка Чопра-Джонас: «Я хватаюсь за любую возможность» Приянка Чопра-Джонас: «Я хватаюсь за любую возможность»

Приянка Чопра-Джонас рассказала о том, как она справляется со всем своими делами

Cosmopolitan
13 метких цитат о главном от писателей прошлого и настоящего 13 метких цитат о главном от писателей прошлого и настоящего

Чертова дюжина цитат о настоящем джентльмене от тех, кто знает в этом толк

Playboy
10 причин, по которым кнопочные телефоны все еще актуальны 10 причин, по которым кнопочные телефоны все еще актуальны

Старомодные телефоны всe еще пользуются популярностью

Популярная механика
Чек-лист: проверь, готов ли твой автомобиль к зиме Чек-лист: проверь, готов ли твой автомобиль к зиме

Давай еще раз пройдемся по пунктам и проверим, готов ли твой автомобиль к зиме

Maxim
Орнитологи описали новый род и вид яркоокрашенных птиц из Боливии и Перу Орнитологи описали новый род и вид яркоокрашенных птиц из Боливии и Перу

Между первой встречей с солнечными танаграми и их описанием прошло двадцать лет

N+1
«Глядя в бездну. Заметки нейропсихиатра о душевных расстройствах» «Глядя в бездну. Заметки нейропсихиатра о душевных расстройствах»

Отрывок из книги нейропсихиатра о душевных расстройствах

N+1
«Барин» против: самые громкие скандалы Маслякова со звездами КВН «Барин» против: самые громкие скандалы Маслякова со звездами КВН

С кем ссорился Александр Васильевич Масляков

Cosmopolitan
8 заикающихся знаменитостей 8 заикающихся знаменитостей

Узнай, как эти знаменитости справились с нарушениями речи и добились успеха

Maxim
Что Вирджил Абло сделал для модной индустрии Что Вирджил Абло сделал для модной индустрии

Вирджил Абло — художник, которого мы либо хвалили, либо критиковали

GQ
Как модный блогер Эмбер Венц Бокс заработала $315 млн и конкурирует с Instagram Как модный блогер Эмбер Венц Бокс заработала $315 млн и конкурирует с Instagram

Как бережное отношение к людям помогло Эмбер Венц Бокс привлечь финансирование

Forbes
Максим Никулин. Под счастливой звездой Юрия Никулина Максим Никулин. Под счастливой звездой Юрия Никулина

Максим Никулин — о своем отце Юрии Никулине и судьбе, переплетенной с цирком

Коллекция. Караван историй
Роалд Хоффманн: Как пережить нобелевскую премию Роалд Хоффманн: Как пережить нобелевскую премию

Роалда Хоффманна мы знаем не только как химика-теоретика

Наука и жизнь
Костюм VS платье — модная битва Cosmo: выбирай, какой стиль идет звездам больше Костюм VS платье — модная битва Cosmo: выбирай, какой стиль идет звездам больше

Сравниваем образы звезд в костюмах и вечерних платьях

Cosmopolitan
5 законов США, которые нам не понять 5 законов США, которые нам не понять

Необычные запреты в США, которые действуют в США много лет

Playboy
Не только мужское либидо: зачем тестостерон нужен людям обоих полов Не только мужское либидо: зачем тестостерон нужен людям обоих полов

Гормон тестостерон — герой множества мифов

РБК
Сыр с одной шутки: история семейной сыроварни «Папа-сыровар» Сыр с одной шутки: история семейной сыроварни «Папа-сыровар»

Основатели «Папа-сыровар» — о недоверии поставщиков и поиске нужного молока

Inc.
“Зеленый” подросток: может ли молодое поколение спасти мир “Зеленый” подросток: может ли молодое поколение спасти мир

Для молодого поколения “зеленая” повестка занимает особое место в жизни

Популярная механика
Когда мы будем летать на аэротакси, как Брюс Уиллис в Когда мы будем летать на аэротакси, как Брюс Уиллис в

Какое аэротакси ожидает нас в ближайшем будущем?

Популярная механика
Александр Градский. Сладкоголосая птица нашей юности Александр Градский. Сладкоголосая птица нашей юности

Драматичная судьба композитора и барда Александра Градского

СНОБ
Парный разряд Парный разряд

Дебютное интервью глянцу от Даниила и Дарьи Медведевых

Tatler
Как устроен вертолет Ми-28НЭ — летучий антитанк Как устроен вертолет Ми-28НЭ — летучий антитанк

Ми-28НЭ — гроза любой ползучей техники

Maxim
Открыть в приложении