Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Биология в фокусе: Естественные отделения университетов Российской империи (1830–1900)» «Биология в фокусе: Естественные отделения университетов Российской империи (1830–1900)»

Почему в начале XIX века в университетах было мало практических занятий

N+1
Китайский — новый английский: 5 причин учить этот язык с детства Китайский — новый английский: 5 причин учить этот язык с детства

Почему детям нужен китайский язык?

СНОБ
Базальты с обратной стороны Луны возникли из истощенной мантии Базальты с обратной стороны Луны возникли из истощенной мантии

Источником базальтов, добытых станцией «Чанъэ-6», была мантия из слоев Луны

N+1
Разработчик дисплеев дополненной реальности WayRay создал электромобиль для зумеров Разработчик дисплеев дополненной реальности WayRay создал электромобиль для зумеров

WayRay создала трехместный электрокар с дисплеями дополненной реальности

Forbes
Развод и утрата: как справиться с последствиями Развод и утрата: как справиться с последствиями

Как утрата влияет на наше психологическое состояние?

VOICE
Если вы не смотрели «Наследников», то настоятельно рекомендуем. Потому что это лучшая драма современного телевидения Если вы не смотрели «Наследников», то настоятельно рекомендуем. Потому что это лучшая драма современного телевидения

Почему «Наследники» — лучший учебник по тому, как устроена современная Америка

Esquire
«Это самая феминистская картина, которую вообще можно себе представить, осанна женщине». Режиссер Александр Зельдович о фильме «Медея» «Это самая феминистская картина, которую вообще можно себе представить, осанна женщине». Режиссер Александр Зельдович о фильме «Медея»

Александр Зельдович — о своем новом фильме «Медея»

СНОБ
7 признаков психического здоровья 7 признаков психического здоровья

Какие признаки говорят о психическом здоровье?

Psychologies
Физики придумали рентгеноскоп «три в одном» Физики придумали рентгеноскоп «три в одном»

физики реализовали многоканальную динамическую рентгеновскую визуализацию

N+1
Без йоги и медитаций: как позаботиться о себе в сложной жизненной ситуации? Без йоги и медитаций: как позаботиться о себе в сложной жизненной ситуации?

Рассказываем, как помочь себе пережить трудности, не прикладывая особых усилий

Psychologies
Артем Кумпель: «Люди могут зарабатывать на 20–30% больше» Артем Кумпель: «Люди могут зарабатывать на 20–30% больше»

Почему кассиры становятся курьерами и что будет с рынком труда

РБК
Про космос и медицину: какую научно-популярную литературу читают в России Про космос и медицину: какую научно-популярную литературу читают в России

Научпоп: больше всего россияне интересуются астрономией, космосом и медициной

Forbes
Максим Никулин. Под счастливой звездой Юрия Никулина Максим Никулин. Под счастливой звездой Юрия Никулина

Максим Никулин — о своем отце Юрии Никулине и судьбе, переплетенной с цирком

Коллекция. Караван историй
«Советские хакеры». История отношений радиолюбителей с властями СССР «Советские хакеры». История отношений радиолюбителей с властями СССР

Книга о проектах и социокультурных явлениях, предшествовавших появлению рунета

СНОБ
White Punk – о провинции, индустрии и воссоединении YungRussia White Punk – о провинции, индустрии и воссоединении YungRussia

Интервью с White Punk – о прошлом и настоящем рэп-музыки

GQ
«Я не в ресурсе»: 7 простых способов это исправить «Я не в ресурсе»: 7 простых способов это исправить

Как восполнить свой энергетический заряд, чтобы «быть в ресурсе»?

Psychologies
Режиссер года: Кира Коваленко Режиссер года: Кира Коваленко

Кинокритик объясняет, почему фильм «Разжимая кулаки» вызвал такой ажиотаж

Glamour
Как меня посадили Как меня посадили

Писатель Таша Карлюка о том, как провела двое суток в тюрьме аэропорта

СНОБ
Деятельность майя связали с цветением озера Аметитлан Деятельность майя связали с цветением озера Аметитлан

Как численность населения в городе майя повлияла на озера Аметитлан?

N+1
Бойфренд запер женщину в багажнике машины, но она выбралась и отомстила Бойфренд запер женщину в багажнике машины, но она выбралась и отомстила

Бывший бойфренд запер женщину в багажнике машины, но ей удалось выбраться

Cosmopolitan
Цифровое бессмертие: что будет с аккаунтами в iCloud и соцсетях после смерти Цифровое бессмертие: что будет с аккаунтами в iCloud и соцсетях после смерти

Что такое цифровое "наследство"?

Playboy
В 1951 году власти Дании забрали детей у коренных жителей, чтобы воспитать из них «гренландскую элиту». Дети выросли и требуют компенсации В 1951 году власти Дании забрали детей у коренных жителей, чтобы воспитать из них «гренландскую элиту». Дети выросли и требуют компенсации

Когда нужного количества не набралось детей просто забрали из семей инуитов

Esquire
Доминируй, подчиняйся. Что люди ищут и находят в БДСМ-практиках Доминируй, подчиняйся. Что люди ищут и находят в БДСМ-практиках

Как на самом деле доминирование и подчинение помогают избавиться от травм

СНОБ
Чем хороши новые Genesis G70 и GV70 Чем хороши новые Genesis G70 и GV70

Оцениваем возможности новых автомобилей корейской марки Genesis

Esquire
Эмоции мешают думать: чему можно научиться у Майкла Корлеоне Эмоции мешают думать: чему можно научиться у Майкла Корлеоне

Чему можно научиться у мафиози Майкла Корлеоне

Esquire
ЭКО-кошмар: в клинике перепутали эмбрионы и родителям пришлось меняться детьми ЭКО-кошмар: в клинике перепутали эмбрионы и родителям пришлось меняться детьми

Родителям пришлось поменяться детьми, чтобы воссоединиться с родными дочками

Cosmopolitan
Сериалы, основанные на реальных преступлениях Сериалы, основанные на реальных преступлениях

Подборка сериалов о реальных преступлениях

GQ
Жизнь после CEO: уйти, чтобы остаться Жизнь после CEO: уйти, чтобы остаться

Иногда уйти — это лучший способ остаться

Inc.
«Мои вкусы весьма специфичны...»: откуда берутся сексуальные фетиши? «Мои вкусы весьма специфичны...»: откуда берутся сексуальные фетиши?

Какова же природа наших предпочтений в постели?

Psychologies
«Игра в кальмара» и другие фильмы на Netflix, с которыми нужно быть осторожнее «Игра в кальмара» и другие фильмы на Netflix, с которыми нужно быть осторожнее

В некоторых странах просмотр этих фильмов запрещен — вплоть до смертной казни

Playboy
Открыть в приложении