Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему мы так плохо помним наше детство? Почему мы так плохо помним наше детство?

Почему у большинства людей нет никаких воспоминаний о первых 3-4 годах жизни

Популярная механика
Биоархеологи обнаружили различия в обряде кремации на бельгийских памятниках эпохи палеометалла Биоархеологи обнаружили различия в обряде кремации на бельгийских памятниках эпохи палеометалла

Биоархеологи исследовали останки людей с четырех древних могильников

N+1
Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер Новые гибкие актуаторы позволили колесному роботу трансформироваться в квадрокоптер

Инженеры разработали гибкие актуаторы, которые могут плавно деформироваться

N+1
На близком расстоянии На близком расстоянии

Актриса Ксения Раппопорт — о самокритике и «Кинотавре»

OK!
Как заснуть буквально за минуту: способ, который все мы бессознательно используем Как заснуть буквально за минуту: способ, который все мы бессознательно используем

Как помочь своему организму заснуть?

Maxim
Загадки психосоматики Загадки психосоматики

Частые или длительные стрессы ведут к развитию заболеваний – это известный факт

Лиза
«Домашнее насилие и я: история Мии». Мия Бордман сняла фильм о бытовой тирании «Домашнее насилие и я: история Мии». Мия Бордман сняла фильм о бытовой тирании

Звезда телешоу «Teen Mom UK» сняла документальный фильм о домашнем насилии

Cosmopolitan
«23 ребенка и 16 нянек». Жена грузинского миллионера рассказала о своей семье «23 ребенка и 16 нянек». Жена грузинского миллионера рассказала о своей семье

В семье Кристины Озтюрк и ее мужа-бизнесмена Галипа Озтюрка 23 ребенка

Cosmopolitan
«Все думают, он мне изменяет». Женщина рассказала о жизни с мужем-культуристом «Все думают, он мне изменяет». Женщина рассказала о жизни с мужем-культуристом

Алисия МакКарвелл об отношениях с супругом-культуристом

Cosmopolitan
Культурные коды экономики: как религия влияет на экономический успех Культурные коды экономики: как религия влияет на экономический успех

Как успех связан с религией — и почему полезно быть непослушным

Forbes
Дно, Йолдыз и Ыгыатта: 5 необычных направления для путешествий России Дно, Йолдыз и Ыгыатта: 5 необычных направления для путешествий России

География России с непривычной точки зрения

Playboy
Елена Нусинова — Forbes: «Сейчас говорить о журналистике почти невыносимо» Елена Нусинова — Forbes: «Сейчас говорить о журналистике почти невыносимо»

Как женщины заняли топовые позиции в российской журналистике в 1990-е?

Forbes
4 факта о тревожности, которые помогут вам с ней справиться 4 факта о тревожности, которые помогут вам с ней справиться

Что важно знать о тревожности, чтобы с ней справиться

Psychologies
Мы не сидим сложа руки Мы не сидим сложа руки

Лучший декоратор вашего дома — это вы сами

Tatler
Крафтовая революция. Кто такие биргики и как они меняют культуру потребления в России Крафтовая революция. Кто такие биргики и как они меняют культуру потребления в России

Как возникла и развивается культура биргиков в России?

СНОБ
Поселившийся в аду Орфей. Как Георгий Иванов из любимца муз и бонвивана стал самым глубоким и печальным поэтом русской эмиграции Поселившийся в аду Орфей. Как Георгий Иванов из любимца муз и бонвивана стал самым глубоким и печальным поэтом русской эмиграции

Его называли «первым поэтом русской эмиграции», а еще «ничтожным эпигоном»

Esquire
Под другим углом: как бренд Audi переосмысливает подход к кроссоверам Под другим углом: как бренд Audi переосмысливает подход к кроссоверам

На примере нового Q5 Sportback, объясняем, как кроссовер может быть не скучным

Forbes
«Я думала, что так у всех». Девушка случайно обнаружила у себя второе влагалище «Я думала, что так у всех». Девушка случайно обнаружила у себя второе влагалище

Когда возникла потребность в тампонах, Ти поняла, что у неё всё не как у всех

Cosmopolitan
Пакет, стакан и цветы: 5 необычных вещей, которые люди берут в аренду, чтобы произвести впечатление Пакет, стакан и цветы: 5 необычных вещей, которые люди берут в аренду, чтобы произвести впечатление

В Москве арендовать можно не только жилье

Playboy
10 актеров одной роли, чья дальнейшая карьера не сложилась, — где они сегодня? 10 актеров одной роли, чья дальнейшая карьера не сложилась, — где они сегодня?

Актеры одной роли, которым так и не удалось прыгнуть выше головы

Cosmopolitan
Семь лет в ящике под кроватью: история похищения Коллин Стэн Семь лет в ящике под кроватью: история похищения Коллин Стэн

Семь лет Коллин Стэн провела в ящике под кроватью

Cosmopolitan
Первый гирокар в истории: изобретение русского графа Шиловского Первый гирокар в истории: изобретение русского графа Шиловского

Гирокар - это автомобиль, имеющий два или более колёса, расположенных в линию

Популярная механика
Для акупунктурных точек нашли анатомическую основу и рефлекторную цепь Для акупунктурных точек нашли анатомическую основу и рефлекторную цепь

Идея иглоукалывания объясняется учеными

N+1
Как с разных планет Как с разных планет

Ученые и бизнесмены не могут найти общий язык по теме климатических изменений

РБК
Диета из чипсов и хлеба: женщина 30 лет боялась есть овощи из-за неофобии Диета из чипсов и хлеба: женщина 30 лет боялась есть овощи из-за неофобии

Эмма из Харрогита питается только чипсами и бутербродами из-за фобии

Cosmopolitan
Zoom-усталость: как главная платформа удаленки стала угрозой для сотрудников Zoom-усталость: как главная платформа удаленки стала угрозой для сотрудников

Что такое Zoom-усталость и кого она касается в первую очередь?

Популярная механика
Дизайнер, диджей, актер: 8 самых неожиданных участников «Битвы экстрасенсов» Дизайнер, диджей, актер: 8 самых неожиданных участников «Битвы экстрасенсов»

Участники «Битвы экстрасенсов». Что забыли на шоу, которому уже не верят

Cosmopolitan
Глубокая стимуляция с обратной связью облегчила симптомы резистентной депрессии Глубокая стимуляция с обратной связью облегчила симптомы резистентной депрессии

Ученые протестировали терапию резистентной депрессии с помощью стимуляции мозга

N+1
«Из-за этой еврейки стрелялся Маяковский»: за что ненавидели Лилю Брик «Из-за этой еврейки стрелялся Маяковский»: за что ненавидели Лилю Брик

Одни называли ее музой поэта, другие — его убийцей

Cosmopolitan
Закрученная история Закрученная история

Толма — символ армянского гостеприимства

Вокруг света
Открыть в приложении