Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Химики надышали аммиака в микрокапли воды Химики надышали аммиака в микрокапли воды

Что они представляют собой заряженные частицы, детектируемые с микрокаплями воды

N+1
Почему сегодня актуальны нормы цифрового этикета Почему сегодня актуальны нормы цифрового этикета

Как трансформировалось поведение в новом рабочем пространстве

СНОБ
Работа с умом: каков потенциал генеративного ИИ для роста производительности в России Работа с умом: каков потенциал генеративного ИИ для роста производительности в России

Ученые проанализировали влияние генеративного ИИ на задачи и профессии

Forbes
Spider-Man: Miles Morales — игра, которая разбудит в вас ребенка. Обзор одного из флагманов новой консоли PS5 Spider-Man: Miles Morales — игра, которая разбудит в вас ребенка. Обзор одного из флагманов новой консоли PS5

Обзор продолжения Spider-Man, где нужно сыграть за Майлза Моралеса

Esquire
Пять языков любви Пять языков любви

Секрет прочных отношений

kiozk originals
Кто живет у нас внутри: что такое женская микрофлора и как о ней заботиться Кто живет у нас внутри: что такое женская микрофлора и как о ней заботиться

Наше влагалище, как и кишечник, является домом для миллиардов бактерий

Cosmopolitan
Как воплотить мечту в реальность: 10 шагов, чтобы стать своим собственным джином Как воплотить мечту в реальность: 10 шагов, чтобы стать своим собственным джином

Полезная инструкция, как всегда добиваться того, что хочешь больше всего

Playboy
Скромный памятник Колумбу Скромный памятник Колумбу

Анна Толстова о судьбе Ильи Остроухова, оставшегося в тени

Weekend
Ученые, ставшие фантастами: Стивен Эриксон и Адам Пшехшта Ученые, ставшие фантастами: Стивен Эриксон и Адам Пшехшта

Ученые Стивен Эриксон и Адам Пшехшта стали фантастами. Рассказываем о них

Популярная механика
«Есть в России национальный продукт, называется шаурма»: как основатель «Додо Пицца» планирует завоевать рынок донеров и кофе «Есть в России национальный продукт, называется шаурма»: как основатель «Додо Пицца» планирует завоевать рынок донеров и кофе

Основатель «Додо Пицца» о том, как он будет бороться с плохой репутацией шаурмы

Forbes
Маленький человек 2.0 Маленький человек 2.0

«Человек из Подольска» — кафкианская история с фальшивым хеппи-эндом

Weekend
Когда в России прошла первая собачья выставка? Когда в России прошла первая собачья выставка?

Как и когда прошла первая отечественная выставка собак

Культура.РФ
Шервуд Андерсон Шервуд Андерсон

Американский писатель Шервуд Андерсон глазами Дмитрия Быкова

Дилетант
5 непростых историй: дочери знаменитостей с серьезными проблемами с наркотиками 5 непростых историй: дочери знаменитостей с серьезными проблемами с наркотиками

5 историй о наследницах известных фамилий, которые оказались на грани пропасти

Cosmopolitan
Вспоминаем, как сложилась карьера Романа Виктюка и как он стал гением театра абсурда Вспоминаем, как сложилась карьера Романа Виктюка и как он стал гением театра абсурда

Волей к чистой форме, во всем определяющей содержание, Виктюк был одержим всегда

GQ
Безумие близнецов: загадочный психоз сестер Урсулы и Сабины Эриксон Безумие близнецов: загадочный психоз сестер Урсулы и Сабины Эриксон

В 2008 году о шведских сестрах-близнецах Эриксон писали все британские газеты

Cosmopolitan
Лицо с экрана 2020 года: Алексей Пивоваров Лицо с экрана 2020 года: Алексей Пивоваров

Алексей Пивоваров доказал, что на YouTube есть место новостной повестке

GQ
Без побочных эффектов Без побочных эффектов

Почему антибиотики перестают помогать, как снизить их вред, чем запить таблетку?

Добрые советы
«Король» гормонов, гормон королей «Король» гормонов, гормон королей

Как мужской гормон тестостерон помогает женщинам похудеть

Худеем правильно
Что известные автомобильные бренды выпускали во время Второй мировой Что известные автомобильные бренды выпускали во время Второй мировой

Вспомнили типичную для 40-х годов XX века продукцию автомобильных брендов

Maxim
Женщины и работа: были ли времена, когда мы бездельничали? Женщины и работа: были ли времена, когда мы бездельничали?

Почему нам не стоит грустить о временах, когда женщины не работали

Cosmopolitan
Бактерии добыли редкоземельные металлы из базальта на борту МКС Бактерии добыли редкоземельные металлы из базальта на борту МКС

Принципиальная возможность биомайнинга за пределами Земли

N+1
«Большой спорт – это не про здоровье», – интервью с главным хореографом Этери Тутберидзе «Большой спорт – это не про здоровье», – интервью с главным хореографом Этери Тутберидзе

Тренер Этери Тутберидзе о фигурном катании, спортсменах и детях

GQ
Здоровый мазохизм: в чем его польза Здоровый мазохизм: в чем его польза

Мазохизм — очень важный механизм для получения удовольствия

Psychologies
Афина или Афродита: какая ты богиня по знаку зодиака? Афина или Афродита: какая ты богиня по знаку зодиака?

Все женщины как женщины, а я - богиня!

Cosmopolitan
30 лет покушению на Михаила Горбачева 30 лет покушению на Михаила Горбачева

Как советский слесарь невзлюбил генерального секретаря

Maxim
«Не со мной»: как мы реагируем на насилие по отношению к другим «Не со мной»: как мы реагируем на насилие по отношению к другим

Почему мы иногда замираем от ужаса, увидев ссору или драку?

Psychologies
Суверенная электроника: зачем России производство наночипов Суверенная электроника: зачем России производство наночипов

За последние десять лет в России научились делать новые типы микросхем

Inc.
Дикий и забытый: факты и мифы о невероятном Lamborghini LM002 Дикий и забытый: факты и мифы о невероятном Lamborghini LM002

Самый скандальный и неожиданный итальянский внедорожник Lamborghini LM002

Популярная механика
Одновременная линька маховых перьев облегчила птицам отказ от полета Одновременная линька маховых перьев облегчила птицам отказ от полета

Ученые выяснили причину, по которой птицы становятся нелетающими

N+1
Открыть в приложении