Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Colossal возродит новозеландских моа Colossal возродит новозеландских моа

Colossal Biosciences заявила о планах возродить новозеландских моа

N+1
Татьяна Доронина. Королева Лир Татьяна Доронина. Королева Лир

Московские театральные события напоминают мыльную оперу или индийскую мелодраму

СНОБ
Не только человеческий рефлекс: все ли животные зевают? Не только человеческий рефлекс: все ли животные зевают?

Все ли живые организмы имеют рефлекс зевоты?

ТехИнсайдер
Взять пример: 36 идей стильного маникюра от знаменитостей Взять пример: 36 идей стильного маникюра от знаменитостей

Звездный маникюр с нейл-артом, который не выглядит вульгарно

VOICE
«Простая геометрическая фигура»: какую историю пережил «Черный квадрат» Малевича «Простая геометрическая фигура»: какую историю пережил «Черный квадрат» Малевича

История успеха наследия художника Казимира Малевича

Forbes
Рома Штайн «Не хочу в эту кабалу!» Рома Штайн «Не хочу в эту кабалу!»

Певец и блогер Рома Штайн — что можно считать настоящей музыкой?

ЖАРА Magazine
Людмила Гаврилова. Людмила Гаврилова.

История актрисы Людмилы Гавриловой

Коллекция. Караван историй
Ксении Собчак — 40! Вспоминаем самые яркие скандалы с участием «блондинки в шоколаде» Ксении Собчак — 40! Вспоминаем самые яркие скандалы с участием «блондинки в шоколаде»

Имя Ксении Собчак уже много лет является синонимом скандала

Maxim
«Худей давай!»: Абрамов, Гайдулян и другие мужчины, которые высмеивали вес жен «Худей давай!»: Абрамов, Гайдулян и другие мужчины, которые высмеивали вес жен

Известные мужчины, которые вряд ли положительно повлияли на самооценку своих жен

VOICE
Стены без окон и другие хитрости: как магазины заставляют нас тратить деньги Стены без окон и другие хитрости: как магазины заставляют нас тратить деньги

Как нас заставляют терять контроль и покупать то, что нам не нужно?

Psychologies
Профессиональные «болезни» предпринимателей: что это и как с ними бороться Профессиональные «болезни» предпринимателей: что это и как с ними бороться

Чего ждать от типичных «болезней предпринимателя» и можно ли от них уберечься

Inc.
«И не друг, и не враг»: как токсичная дружба отравляет нам жизнь «И не друг, и не враг»: как токсичная дружба отравляет нам жизнь

Почему так тяжело дружить с токсичными людьми

Psychologies
Как сформулировать запрос к психологу Как сформулировать запрос к психологу

Первый шаг в преодолении трудностей — формулировка психологического запроса

Psychologies
Преодоление Преодоление

Остаться один на один с горем: как найти в себе силы жить дальше?

Tatler
Зоологи подтвердили существование городской популяции леопардов в Сеуле в конце XIX века Зоологи подтвердили существование городской популяции леопардов в Сеуле в конце XIX века

Крупные кошки в Сеуле охотились на собак, а днем прятались среди растительности

N+1
Уронили гроб, помпезный пафос, парад и принудиловка: воспоминания и мифы о похоронах Брежнева (и видео) Уронили гроб, помпезный пафос, парад и принудиловка: воспоминания и мифы о похоронах Брежнева (и видео)

Самые помпезные похороны в истории СССР (после похорон Сталина)

Maxim
Еще теплее Еще теплее

Дольче и Габбана рассказали, как придумали почти две тысячи предметов интерьера

Harper's Bazaar

Истории о маленьких ночных шалостях

Playboy
Как говорить с детьми о сексе Как говорить с детьми о сексе

Как помочь ребенку осознать свои границы и правильно их защитить?

СНОБ
Горячие закуски на скорую руку: простые мужские рецепты Горячие закуски на скорую руку: простые мужские рецепты

Простые мужские блюда, которые ты легко сможешь повторить

Maxim
Чтобы обнаружить психопата, достаточно всего одного вопроса Чтобы обнаружить психопата, достаточно всего одного вопроса

Можно ли обнаружить у себя или у окружающих черты психопата?

Cosmopolitan
Как выбрать зимние шины: 5 важных советов для тех, кто еще не переобулся Как выбрать зимние шины: 5 важных советов для тех, кто еще не переобулся

Когда переобуваться, как подобрать модель шин и нужный размер?

РБК
Тюнинг Тюнинг

Калаш хорош, но его можно сделать еще лучше

Популярная механика
«Повелитель мух» в реальности: как 6 подростков выживали на острове «Повелитель мух» в реальности: как 6 подростков выживали на острове

Шестеро сбежавших из школы учеников провели год на клочке земли посреди океана

Cosmopolitan
Как устроен вертолет Ми-28НЭ — летучий антитанк Как устроен вертолет Ми-28НЭ — летучий антитанк

Ми-28НЭ — гроза любой ползучей техники

Maxim
Бьюти-эволюция Светланы Бондарчук: от неизвестной модели до светской дивы Бьюти-эволюция Светланы Бондарчук: от неизвестной модели до светской дивы

Светлана Бондарчук - неизменная героиня российской светской хроники

Cosmopolitan
Максим Никулин. Под счастливой звездой Юрия Никулина Максим Никулин. Под счастливой звездой Юрия Никулина

Максим Никулин — о своем отце Юрии Никулине и судьбе, переплетенной с цирком

Коллекция. Караван историй
Найден способ превращать воду, солнечный свет и CO2 в чистый керосин Найден способ превращать воду, солнечный свет и CO2 в чистый керосин

Система, которая может производить топливо из солнечного света и воздуха

Популярная механика
Почему нас раздражает собственный голос в записи? Почему нас раздражает собственный голос в записи?

Нам не нравится свой голос в записи, потому что мы не узнаем себя

Cosmopolitan
Вы задумывались о том, что доступ к общественным туалетам — благо, недоступное половине населения Земли? Вопрос дня Вы задумывались о том, что доступ к общественным туалетам — благо, недоступное половине населения Земли? Вопрос дня

Кого волнуют туалеты? Каждого второго жителя Земли, у которого нет к ним доступа

СНОБ
Открыть в приложении