Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Древнему жителю Китаю ампутировали ногу в наказание Древнему жителю Китаю ампутировали ногу в наказание

Ампутацию считают древнейшей хирургической операцией

N+1
Деспотичный редактор, ведьма, смертельно больная: лучшие фильмы с Мерил Стрип Деспотичный редактор, ведьма, смертельно больная: лучшие фильмы с Мерил Стрип

Для Мерил Стрип нет роли, которую она не могла бы исполнить

Cosmopolitan
На шаг ближе к колонизации: как искусственный интеллект помогает NASA изучать Марс На шаг ближе к колонизации: как искусственный интеллект помогает NASA изучать Марс

О том, как ИИ помогает исследовать Марс, и приведет ли он нас к прорыву

ТехИнсайдер
Елки-палки Елки-палки

Что пошло не так с стартапом по озеленению леса Maraquia

Forbes
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Предков индейцев пуэбло уличили в топлении льда для выживания во время засух Предков индейцев пуэбло уличили в топлении льда для выживания во время засух

Необычный источник воды помог коренным американцам выжить в засушливом климате

N+1
Аборт и закон: могут ли нам запретить решать, когда быть матерью? Аборт и закон: могут ли нам запретить решать, когда быть матерью?

Как один закон может повлиять на судьбы многих женщин

Cosmopolitan
Отпуск по обмену Отпуск по обмену

Восстановление дома 1485 года постройки

AD
Первый слой: как правильно выбрать термобелье и как за ним ухаживать Первый слой: как правильно выбрать термобелье и как за ним ухаживать

Термобелье может существенно улучшить вашу жизнь с наступлением холодов

Esquire
Если есть желание, присоединяйтесь! Если есть желание, присоединяйтесь!

Как избежать недопонимания и недоразумений?

Psychologies
Анкета: Алиса Брострем Анкета: Алиса Брострем

13‑летняя Алиса Брострем — модель, блогер с более 100К подписчиков

Glamour
Завезенных в Австралию ос назвали угрозой безопасности авиаперелетов Завезенных в Австралию ос назвали угрозой безопасности авиаперелетов

Гнезда насекомых могут привести к катастрофе

N+1
Маленький человек 2.0 Маленький человек 2.0

«Человек из Подольска» — кафкианская история с фальшивым хеппи-эндом

Weekend
Мог ли мегалодон надвое перекусить судно Мог ли мегалодон надвое перекусить судно

Главный герой этого фильма — невероятная ископаемая акула, мегалодон

Популярная механика
Почему они не уходят: есть ли вина женщины в том, что она живет с абьюзером? Почему они не уходят: есть ли вина женщины в том, что она живет с абьюзером?

Почему женщины остаются с абьюзерами даже тогда, когда им есть куда уйти

Cosmopolitan
Как тренироваться в мороз Как тренироваться в мороз

Улица — отличное место для тренировки даже зимой

Maxim
9 неприятных привычек тех, кто нас так раздражает 9 неприятных привычек тех, кто нас так раздражает

Объясняем, почему некоторые черты людей вызывают у нас сильное раздражение

Psychologies
Золото, серебро, самоцветы: как почистить серьги Золото, серебро, самоцветы: как почистить серьги

Как безопасно почистить сережки в домашних условиях

Cosmopolitan
Роман Супер: «Эдуард Успенский – по сути панк» Роман Супер: «Эдуард Успенский – по сути панк»

Разговор с автором документального фильма об Эдуарде Успенском

GQ
Влюбленность Елизаветы, жестокость Филиппа: правда и вымысел в сериале «Корона» Влюбленность Елизаветы, жестокость Филиппа: правда и вымысел в сериале «Корона»

Рассказываем, что в сериале «Корона» правда, а что — домыслы создателей

Cosmopolitan
Психиатрия: что спровоцировало болезнь Кэтрин Зеты-Джонс Психиатрия: что спровоцировало болезнь Кэтрин Зеты-Джонс

Кэтрин Зета-Джонс считает, что ментальных проблем нельзя стыдиться

Cosmopolitan
В центре города В центре города

Городская квартира в стиле спокойной, мягкой неоклассики

SALON-Interior
Каково это — пройти Европу пешком за два года Каково это — пройти Европу пешком за два года

Как кровельщик из Железногорска за два года прошел пешком через всю Европу

Esquire
Как изменились звезды культовой трилогии Как изменились звезды культовой трилогии

После завершения трилогии "Назад в будущее" о главных актерах известно мало

Cosmopolitan
Живая история: отрывок из книги автора Esquire Егора Сенникова «Они отвалились» о социалистическом проекте в Восточной Европе Живая история: отрывок из книги автора Esquire Егора Сенникова «Они отвалились» о социалистическом проекте в Восточной Европе

Как 30 лет назад закончился социалистический проект в Восточной Европе

Esquire
Откуда взялась фраза «Как художник художнику» — а вот и не из «12 стульев» Откуда взялась фраза «Как художник художнику» — а вот и не из «12 стульев»

В романе Ильфа и Петрова этой крылатой фразы нет

Maxim
«Парень он, конечно, неплохой…» Что не так с Льюисом Хэмилтоном и его чемпионскими титулами «Парень он, конечно, неплохой…» Что не так с Льюисом Хэмилтоном и его чемпионскими титулами

Размышления о Льюисе Хэмилтоне — чемпионе-рекордсмене «Формулы-1»

Maxim
Мария Склодовская-Кюри  – супергероиня от науки: в прокат выходит фильм о жизни ученой Мария Склодовская-Кюри  – супергероиня от науки: в прокат выходит фильм о жизни ученой

Фильм о Марии Склодовской-Кюри, которому не удалось выйти за рамки ЖЗЛ

Forbes
Шесть «сюрпризов» зимы Шесть «сюрпризов» зимы

Объясняем, как избежать вредного влияния центрального отопления в помещениях

Здоровье
Чем болели президенты США (втайне от простых американцев) Чем болели президенты США (втайне от простых американцев)

Кто основал среди американских лидеров традицию болеть

Maxim
Открыть в приложении