Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Муравьи запомнили запах своих врагов Муравьи запомнили запах своих врагов

Черные садовые муравьи запоминают своих сородичей из других колоний после стычек

N+1
Если коллега — ваш друг: правила субординации Если коллега — ваш друг: правила субординации

Возможно ли разделить дружеские и рабочие отношения?

Psychologies
От стрелочных приборов до бортовых компьютеров: как развивалась авионика в самолетах От стрелочных приборов до бортовых компьютеров: как развивалась авионика в самолетах

Как менялись технологии авионики на протяжении веков

ТехИнсайдер
Модель ESCIMO указала на пройденную точку невозврата в потеплении климата Модель ESCIMO указала на пройденную точку невозврата в потеплении климата

Полное прекращение выбросов парниковых газов не остановит потепление

N+1
7 фильмов о великих художниках 7 фильмов о великих художниках

Выдающиеся фильмы о живописцах, от эпохи Возрождения до XX века

СНОБ
6 рок-групп, которые вдруг стали лучше после потери товарища 6 рок-групп, которые вдруг стали лучше после потери товарища

Группы, которые после изменения состава, стали только лучше и громче

Maxim
Охота на должников. Несколько историй от ГИБДД о злостных нарушителях Охота на должников. Несколько историй от ГИБДД о злостных нарушителях

ГИБДД отрыла охоту на злостных неплательщиков штрафов

РБК
Полет в космос и послание с того света: самые дикие подарки звезд друг другу Полет в космос и послание с того света: самые дикие подарки звезд друг другу

Далеко не каждый сможет переплюнуть столь оригинальные идеи подарков

Cosmopolitan
Во всем виноваты родители? Почему стало модно искать все проблемы в детстве Во всем виноваты родители? Почему стало модно искать все проблемы в детстве

Действительно мама и папа виноваты в наших бедах или пора наконец повзрослеть?

Cosmopolitan
Андрей Алексеенко: «Кровеносная система» бизнеса. Почему предпринимателям нужно обратить внимание на аналитику данных Андрей Алексеенко: «Кровеносная система» бизнеса. Почему предпринимателям нужно обратить внимание на аналитику данных

Рынок аналитики данных развивается стремительными темпами

СНОБ
Наука побежать. 5 уникальных побегов через Берлинскую стену Наука побежать. 5 уникальных побегов через Берлинскую стену

5 случаев побега из развивающегося социализма ГДР в загнивающий капитализм ФРГ

Maxim
10 эффектных сцен, незаслуженно вырезанных из фильмов 10 эффектных сцен, незаслуженно вырезанных из фильмов

Важные сцены, которые были отправлены в корзину, хотя они помогают понять сюжет

РБК
Игры разума Игры разума

Главная особенность этой квартиры — ванная комната, объединённая со спальней

SALON-Interior
Протрезветь до понедельника Протрезветь до понедельника

Василий Степанов о крепости духа и крепком алкоголе в фильме «Еще по одной»

Weekend
Алкогений: Петр Мамонов Алкогений: Петр Мамонов

Хмурым утром у ларька с пивом очередь расступалась, завидя Мамонова в пиджаке

Maxim
Русские сезоны в F1: дорогие соотечественники, оставившие след в лучших гонках мира Русские сезоны в F1: дорогие соотечественники, оставившие след в лучших гонках мира

От худшего к лучшему рассчитайсь!

Maxim
Не только Мата Хари: чем прославились 11 самых известных шпионов XX века Не только Мата Хари: чем прославились 11 самых известных шпионов XX века

Известная танцовщица, семейная пара, искусствовед и другие известные шпионы

Cosmopolitan
«Почему нам сложно вас понять»: конфликт в паре глазами мужчин «Почему нам сложно вас понять»: конфликт в паре глазами мужчин

Попробуем рассмотреть семейный конфликт так, как его часто видят мужчины

Psychologies
Литовцы или литвины? Литовцы или литвины?

Кто в большей степени имеет право считаться наследниками Великого княжества?

Дилетант
Мозг, исцеляющий себя Мозг, исцеляющий себя

Реальные истории людей, которые победили болезни и преобразили свой мозг

kiozk originals
Приключения иностранцев в России Приключения иностранцев в России

Иностранцы вспоминают, как 30 лет назад оказались в новом государстве — России

GQ
Почему Россия проиграла президентские выборы в Молдавии Почему Россия проиграла президентские выборы в Молдавии

Россия потерпела очередное за 2020 год поражение на постсоветском пространстве

СНОБ
Танцевала перед Scorpions: как Екатерина Шпица стала актрисой Танцевала перед Scorpions: как Екатерина Шпица стала актрисой

10 неожиданных фактов об актрисе Екатерине Шпице

Cosmopolitan
Гордей Петрик о новом фильме Андрея Кончаловского «Дорогие товарищи!» Гордей Петрик о новом фильме Андрея Кончаловского «Дорогие товарищи!»

Фильм «Дорогие товарищи!» — высказывание мастерское, мощное, но хитрое

СНОБ
Руки дошли: как будут выглядеть новейшие протезы и можно ли управлять ими силой мысли Руки дошли: как будут выглядеть новейшие протезы и можно ли управлять ими силой мысли

Когда потеря руки или ноги не конец привычной жизни, а начало новой

Esquire
Кто делает сумки для королевы Елизаветы II и где их купить Кто делает сумки для королевы Елизаветы II и где их купить

Британский бренд Launer стал очень популярен после выхода 4 сезона «Короны»

РБК
5 трогательных фактов про крокодилов 5 трогательных фактов про крокодилов

Пять увлекательных фактов, после которых ты начнешь уважать крокодилов

Maxim
Как снизить вредное воздействие алкоголя на организм Как снизить вредное воздействие алкоголя на организм

Перестаньте выпивать за несколько часов до сна

GQ
Ради любви или пиара? Звезды, приходившие на «Давай поженимся!» – зачем им это Ради любви или пиара? Звезды, приходившие на «Давай поженимся!» – зачем им это

Кто из знаменитостей искал любовь на шоу «Давай поженимся!» и кто ее нашел?

Cosmopolitan
Как стать известным и заработать на этом: 7 главных правил будущей звезды Как стать известным и заработать на этом: 7 главных правил будущей звезды

Недостаточно просто хайпануть, надо еще правильно этим воспользоваться

Playboy
Открыть в приложении