Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Происхождение вкусов: Как любовь к еде сделала нас людьми» «Происхождение вкусов: Как любовь к еде сделала нас людьми»

Как мозг запоминает и классифицирует запахи

N+1
Как эйджизм мешает молодым строить карьеру Как эйджизм мешает молодым строить карьеру

Какие различия между поколениями — лишь мифы, а какие действительно существуют?

Psychologies
Тела при нагревании расширяются, но не всегда Тела при нагревании расширяются, но не всегда

Что сдерживает тепловое расширение в уникальном сплаве из четырех элементов

ТехИнсайдер
10 автомобилей с самыми крутыми фарами 10 автомобилей с самыми крутыми фарами

Какие современные и классические автомобили могут похвастаться лучшими фарами?

Популярная механика
Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой) Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой)

Не знаете, как быстро возбудить девушку до предела? Вы по адресу!

Playboy
Сколько свободного времени нам нужно для счастья Сколько свободного времени нам нужно для счастья

Какое оптимальное количество свободного времени в сутках?

Psychologies
Гегель и «Вагнер». Что статья Суркова говорит о режиме Путина Гегель и «Вагнер». Что статья Суркова говорит о режиме Путина

Владислав Сурков выложил в открытый доступ все страхи нынешней правящей верхушки

СНОБ
Время пилингов: что важно знать об этой процедуре? Время пилингов: что важно знать об этой процедуре?

Пилинг — любимая многими процедура. Лучшее время для нее — поздняя осень и зима

Psychologies
Как охотники за багами и хакеры будут бороться с дискриминацией на рынке труда Как охотники за багами и хакеры будут бороться с дискриминацией на рынке труда

Могут ли нейросети помешать вам получить работу мечты?

Forbes
Настоящая фея-крестная: главная спасительница по знаку зодиака - кто она? Настоящая фея-крестная: главная спасительница по знаку зодиака - кто она?

Кто из знаков зодиака готов всю себя положить, чтобы помочь другим

Cosmopolitan
Почему Василий Лановой три раза отказывался от роли в «Офицерах»? Почему Василий Лановой три раза отказывался от роли в «Офицерах»?

Василий Лановой признался, что три раза отказывался от съёмок в «Офицерах».

Cosmopolitan
10 знаменитых изобретений, пришедших из неожиданных мест 10 знаменитых изобретений, пришедших из неожиданных мест

В какой точке земного шара был открыт кинематограф, «флешки» и туалетная бумага?

Популярная механика
Компьютер не видит жесткий диск: что делать? Компьютер не видит жесткий диск: что делать?

Почему компьютер не видит жесткий диск и как решить эту проблему?

CHIP
Было, но не прошло: может ли бывший муж стать верным другом? Было, но не прошло: может ли бывший муж стать верным другом?

Если друг оказался вдруг... бывшим мужем, значит, у тебя все прекрасно!

Cosmopolitan
Зима близко! Очень смешные комиксы про жизнь девушек в холодный сезон Зима близко! Очень смешные комиксы про жизнь девушек в холодный сезон

Комиксы BlooMe точно поднимут тебе настроение в холодный сезон!

Cosmopolitan
Игры разума Игры разума

Дорн и Чумаченко — о том, где проходит грань между творчеством и алгоритмами

Esquire
Такие неопасные, но ужасные колики Такие неопасные, но ужасные колики

Младенческие колики отравляют жизнь всей семье, как с ними справиться?

Здоровье
Карбоновая бухгалтерия: как сервис для учета выбросов газа привлек более $100 млн Карбоновая бухгалтерия: как сервис для учета выбросов газа привлек более $100 млн

Стартап Persefoni намерен помочь миру смягчить изменение климата

Forbes
На отдых в офлайн: 8 сервисов по избавлению от интернет-зависимости На отдых в офлайн: 8 сервисов по избавлению от интернет-зависимости

Приложения для смартфонов, которые помогают реже пользоваться смартфонами

РБК
Кризис третьего года: когда лояльность персонала достигает минимума и как с этим быть Кризис третьего года: когда лояльность персонала достигает минимума и как с этим быть

Почему лояльность сотрудников падает и как их снова замотивировать?

Forbes
Лучшие саундтрек-альбомы к известным фильмам Лучшие саундтрек-альбомы к известным фильмам

Удачный саундтрек – одна из составляющих успеха фильма

GQ
Химики оценили эффективность переработки океанского пластикового мусора на борту корабля Химики оценили эффективность переработки океанского пластикового мусора на борту корабля

Работа кораблей-мусорщиков выгоднее, чем транспортировка мусора на берег

N+1
«Вытаскивала их руками!» Женщина сама удалила нити после неудачной подтяжки лица «Вытаскивала их руками!» Женщина сама удалила нити после неудачной подтяжки лица

История Барбары, которая чуть не изуродовала себе лицо

Cosmopolitan
Лыжи, природные арки и икра морских ежей: 20 вещей, которые нужно сделать на Сахалине Лыжи, природные арки и икра морских ежей: 20 вещей, которые нужно сделать на Сахалине

Сценариев покорения Сахалина миллион, но мы продегустировали его на свой лад

Playboy
Как эффективно учиться взрослым: наука андрагогика и полезные советы Как эффективно учиться взрослым: наука андрагогика и полезные советы

Какие методики помогут взрослым эффективнее усваивать знания?

Популярная механика
13 метких цитат о главном от писателей прошлого и настоящего 13 метких цитат о главном от писателей прошлого и настоящего

Чертова дюжина цитат о настоящем джентльмене от тех, кто знает в этом толк

Playboy
11 возможных причин того, что вы все еще одна 11 возможных причин того, что вы все еще одна

У того, что вы пока не в отношениях, есть весомая причина

Psychologies
Культ личности: почему сейчас в России так много разводов Культ личности: почему сейчас в России так много разводов

Почему люди так часто предпочитают «одиночное плавание»

Cosmopolitan
Опасности метавселенных: что прогнозируют фантасты Опасности метавселенных: что прогнозируют фантасты

Книги о том, какие опасности могут сулить метавселенные

Популярная механика
«Счастье — это реальность минус ожидания». Интервью о психологии семьи «Счастье — это реальность минус ожидания». Интервью о психологии семьи

Автор книги «Поколение "сэндвич"» — о счастье и языке между поколениями

РБК
Открыть в приложении