Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На Земли лишь два вида птиц, умеющих делать орудия труда На Земли лишь два вида птиц, умеющих делать орудия труда

Вороны умеют изготовлять и использовать орудия труда для добычи пищи

Популярная механика
«Ашрам Шамбалы». Часть 2: Доведение до самоубийства и секс с учителем — чем жили последователи секты «Ашрам Шамбалы». Часть 2: Доведение до самоубийства и секс с учителем — чем жили последователи секты

Как секта «Ашрам Шамбалы» зарабатывает капитал, сталкивается с милицией

СНОБ
Геймификация, «какашки» и честность: как бренду привлечь зумеров Геймификация, «какашки» и честность: как бренду привлечь зумеров

Что поможет бренду зацепить поколение Z

Inc.
Игра в ассоциации Игра в ассоциации

Красочный интерьер для ценителей современного искусства

SALON-Interior
Леди Гага от декаданса: как маркиза Луиза Казати стала королевой эпатажа Леди Гага от декаданса: как маркиза Луиза Казати стала королевой эпатажа

Как середине XX века итальянская аристократка стала Леди Гагой своего времени

Правила жизни
8 затопленных городов СССР 8 затопленных городов СССР

Как и почему в Советском Союзе несколько крупных городов оказались под водой

Maxim
«Трудно передать атмосферу, когда видишь Землю». Юлия Пересильд — о космическом полете «Трудно передать атмосферу, когда видишь Землю». Юлия Пересильд — о космическом полете

Актриса Юлия Пересильд — о подготовке к полету в космос и работе на МКС

Playboy
Trashion, или Бросовая мода Trashion, или Бросовая мода

Как объединить фэшн-индустрию и переработку отходов

РБК
Магазин на ладони. Как ретейл по всему миру стал «умнее» Магазин на ладони. Как ретейл по всему миру стал «умнее»

Какие инновации и тренды влияют на развитие международной розницы

СНОБ
Странности перевода: необычные трудовые привычки жителей разных стран Странности перевода: необычные трудовые привычки жителей разных стран

Предлагаем отвлечься на особенности и странности работы в других странах

Esquire
Астрономы подтвердили столкновение двух экзопланет 200 тысяч лет назад Астрономы подтвердили столкновение двух экзопланет 200 тысяч лет назад

Во время катаклизма у одной из них могло сорвать атмосферу

N+1
Subaru Outback. Куда же без подвоха Subaru Outback. Куда же без подвоха

Новый Subaru Outback похож на предыдущий и внешне, и по ощущениям

4x4 Club
«Мы идем в гору» «Мы идем в гору»

Основательница группы «Новые Самоцветы» Инна Маликова о будущем проекта

OK!
Крупным планом Крупным планом

Роман Васьянов попробовал себя в новом качестве – запечатлел Ирину Старшенбаум

Grazia
15 мыслей Игоря Бутмана 15 мыслей Игоря Бутмана

Игорь Бутман — о возрасте, тишине, кино и Моргенштерне

GQ
На воздушном шаре к Северному полюсу: самое безбашенное приключение в истории изучения Арктики На воздушном шаре к Северному полюсу: самое безбашенное приключение в истории изучения Арктики

Смертельно опасное путешествие Саломона Андре к Северному полюсу

Maxim
Как мы будем покупать вещи в будущем Как мы будем покупать вещи в будущем

На смен­у кассирам приходя­т умны­е тележки и робот­ы

GQ
Hе забывается такое никогда Hе забывается такое никогда

Организаторы светского процесса в двухтысячных делятся подробностями той эпохи

Tatler
10 лучших фильмов о Джеймсе Бонде 10 лучших фильмов о Джеймсе Бонде

Лучшие картины культовой франшизы о Джеймсе Бонде

GQ
Сетевому архитектору из Мичигана долго не проводили интернет — тогда он создал свой оператор связи и подключил соседей Сетевому архитектору из Мичигана долго не проводили интернет — тогда он создал свой оператор связи и подключил соседей

Как Джаред Мауч сам себе подключил высокоскоростной интернет

VC.RU
«Чем хлеб белее, тем умрешь скорее»: навигатор еды от диетолога Майкла Поллана «Чем хлеб белее, тем умрешь скорее»: навигатор еды от диетолога Майкла Поллана

Книга диетолога Майкла Поллана — отличный навигатор по разумному питанию

Forbes
Михаил Вишневский Михаил Вишневский

Михаил Вишневский: «Грибы могут примерно всё»

Собака.ru
Кто изобрел аэрозольный баллончик? Кто изобрел аэрозольный баллончик?

Первый шаг к применению аэрозольных баллонов сделал изобретатель Эрик Ротхейм

Популярная механика
Суттират Энн Ларларб – о том, как создавались образы Джеймса Бонда для фильма «Не время умирать» Суттират Энн Ларларб – о том, как создавались образы Джеймса Бонда для фильма «Не время умирать»

Художница по костюмам рассказала нам, что повлияло на наряды агента 007

GQ
Самые страшные вещи, которые люди видели в море Самые страшные вещи, которые люди видели в море

Отправляешься на берег моря с бархатным песочком? Не забудь электрошокер

VOICE
Теплое местечко Теплое местечко

Электрические и водяные полы, что это – блажь или умное вложение?

Лиза
Вопрос цены: почему при лобовых столкновениях пассажиры более дорогого автомобиля выживают чаще Вопрос цены: почему при лобовых столкновениях пассажиры более дорогого автомобиля выживают чаще

Влияет ли стоимость автомобиля на безопасность пассажиров?

Популярная механика
Ученые смогли контролировать квантовую жидкость с помощью лазеров Ученые смогли контролировать квантовую жидкость с помощью лазеров

Полностью оптический метод создания искусственных решеток

Популярная механика
5 фильмов о зависимых отношениях 5 фильмов о зависимых отношениях

Как созависимые отношения увидели, а главное, показали гениальные кинорежиссеры?

Psychologies
Феминизм, шаманство и тату: четыре художницы из Якутии, которых нужно знать Феминизм, шаманство и тату: четыре художницы из Якутии, которых нужно знать

Четыре наиболее интересных современных якутских художницы

СНОБ
Открыть в приложении