Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Астероиды: рожденные пламенем» «Астероиды: рожденные пламенем»

Как ученые научились анализировать состав астероидов

N+1
5 самых знаменитых пляжей из фильмов 5 самых знаменитых пляжей из фильмов

Пока нам остается смотреть на эти райские местечки в кино

Playboy
Наночастицы пластика могут принести ионы тяжелых металлов в организм человека Наночастицы пластика могут принести ионы тяжелых металлов в организм человека

Пагубное воздействие частиц нанопластика еще больше усиливается

ТехИнсайдер

Дэвид Фостер Уоллес — о творческом методе Достоевского

Esquire
10 вещей, которые нужно успеть сделать для пожилых родителей 10 вещей, которые нужно успеть сделать для пожилых родителей

Список бесценных вещей, которые вы можете сделать для ваших родителей

Maxim
Позволим себе лишнего! Позволим себе лишнего!

Иногда стоит дать себе поблажку и получить от еды чистое наслаждение

Лиза
Коварные легинсы! Самые смешные фото звезд в лосинах — от Шейк до Кардашьян Коварные легинсы! Самые смешные фото звезд в лосинах — от Шейк до Кардашьян

Легинсы — один из самых коварных предметов женского гардероба

VOICE
Кейт Миддлтон и Уильям используют приемы принцессы Дианы в воспитании детей Кейт Миддлтон и Уильям используют приемы принцессы Дианы в воспитании детей

Герцоги Кембриджские часто выходят в свет со своими маленькими детьми

Cosmopolitan
Электрошок: прошлое и настоящее Электрошок: прошлое и настоящее

Так ли страшна процедура электрошока на самом деле?

Psychologies
Археологи нашли на Дону серебряную накладку с изображениями скифских богов Археологи нашли на Дону серебряную накладку с изображениями скифских богов

Ученые обнаружили изображения богов в скифском погребении IV века до нашей эры

N+1
10 удивительных должностей при дворе Елизаветы II (и сколько за них платят) 10 удивительных должностей при дворе Елизаветы II (и сколько за них платят)

Британской королевской семье требуются люди на очень странные должности

Cosmopolitan
Семь советов, чтобы похудеть к Новому году Семь советов, чтобы похудеть к Новому году

Как легко похудеть на 5-6 килограмм?

Здоровье
«Девочки» выросли: дружба, отношения и поиск себя в сериале «Женщины за сорок» «Девочки» выросли: дружба, отношения и поиск себя в сериале «Женщины за сорок»

Четыре героини, большой город, отношения с мужьями, настоящая дружба

Forbes
10 необычных способов быстро уснуть 10 необычных способов быстро уснуть

Как уснуть, если подсчет овец и глубокое дыхание уже не помогают?

Psychologies
«Черная пятница» в разгаре: что покупают россияне и в чем подвох «Черная пятница» в разгаре: что покупают россияне и в чем подвох

Краткая занимательная статистика «Черной пятницы» в России

Playboy
Автомобиль дня: Espenlaub 1000 Автомобиль дня: Espenlaub 1000

Готтлиб Эспенлауб построил девять автомобилей собственного дизайна

Популярная механика
Золото России: как Aurus из автомобиля стал самолетом Золото России: как Aurus из автомобиля стал самолетом

Проект, который начинался как автомобиль для президента, вырос в целую философию

Playboy
Дедвлей, Намибия Дедвлей, Намибия

Пятачок, на котором встретились сразу несколько природных аномалий и подружились

Maxim
Вселенная победившего матриархата. Роман Юлии Яковлевой и Карины Добротворской «Мужчина апреля» Вселенная победившего матриархата. Роман Юлии Яковлевой и Карины Добротворской «Мужчина апреля»

Отрывок из «Мужчины апреля» — в мире сбылись все пророчества настоящего

СНОБ
Социальный заказ Социальный заказ

Две студентки МИФИ превратили увлечение волонтерством в ESG-агентство You Social

Forbes
Сергей Долмов: Как бороться с пьяными водителями Сергей Долмов: Как бороться с пьяными водителями

Пьяные водители стали самым настоящим бичом российских автодорог

СНОБ
11 возможных причин того, что вы все еще одна 11 возможных причин того, что вы все еще одна

У того, что вы пока не в отношениях, есть весомая причина

Psychologies
Удар током: почему Москва не готова к высокому спросу на экологичные автомобили Удар током: почему Москва не готова к высокому спросу на экологичные автомобили

Почему в городах мира нет инфраструктуры для электромобилей?

Forbes
На востоке Англии нашли крупнейший англосаксонский клад золотых монет На востоке Англии нашли крупнейший англосаксонский клад золотых монет

Британский музей сообщил о 135 золотых артефактах, обнаруженных кладоискателями

N+1
5 ошибок, за которые стоит себя простить 5 ошибок, за которые стоит себя простить

Важно признать свои ошибки и простить себя за них

Psychologies
Часто ходите в тренажерный зал, но не можете похудеть? Избыточные тренировки тут не при чем Часто ходите в тренажерный зал, но не можете похудеть? Избыточные тренировки тут не при чем

Частые тренировки слишком сильно стрессуют организм?

Популярная механика
«Костик»: от К. С. до К. Ю. Постановка «Чайки» Дмитрия Крымова «Костик»: от К. С. до К. Ю. Постановка «Чайки» Дмитрия Крымова

Самый чеховский спектакль на российской сцене

СНОБ
Быстрее, выше, сильнее, беспилотнее. В каком спорте соревнуются беспилотные автомобили Быстрее, выше, сильнее, беспилотнее. В каком спорте соревнуются беспилотные автомобили

Какие у беспилотников есть состязания и как выбирают победителя?

Популярная механика
Видеодрайвер перестал отвечать и был восстановлен: как исправить эту ошибку Видеодрайвер перестал отвечать и был восстановлен: как исправить эту ошибку

Почему возникает ошибка «Видеодрайвер перестал отвечать и был восстановлен»

CHIP
Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний

Как понять, что вы нашли product/market fit?

VC.RU
Открыть в приложении