Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ожирение в детстве в четыре раза повысило вероятность долгосрочного отпуска по болезни в 25 лет Ожирение в детстве в четыре раза повысило вероятность долгосрочного отпуска по болезни в 25 лет

У страдавших ожирением в детстве высокая вероятность уйти в отпуск по здоровью

N+1
Невыносимый красавчик: почему с Беном Аффлеком не уживается ни одна женщина Невыносимый красавчик: почему с Беном Аффлеком не уживается ни одна женщина

Почему Бена Аффлека бросали все его девушки

Cosmopolitan
Безопасность использования ИИ в банках: что важно знать Безопасность использования ИИ в банках: что важно знать

Как именно работает искусственный интеллект в финансовом секторе

Inc.
«Яжемать»: боль, гнев и любовь «Яжемать»: боль, гнев и любовь

Кто такие «яжематери» и как общество относится к материнству и отцовству

Psychologies
Укус осы: правила первой помощи и 8 советов, как его избежать Укус осы: правила первой помощи и 8 советов, как его избежать

Большой угрозы укус осы не представляет, но есть исключения

РБК
От костюма до портупеи: одеться как герои фильмов Мартина Скорсезе От костюма до портупеи: одеться как герои фильмов Мартина Скорсезе

Безупречная визуальная эстетика — вот за что мы любим фильмы Мартина Скорсезе

Esquire
Обещают жару Обещают жару

Почему-то наши маленькие новогодние клятвы редко касаются секса. А зря!

Cosmopolitan
«Corvette лучше Porsche». 5 автомобильных историй из жизни Джо Байдена «Corvette лучше Porsche». 5 автомобильных историй из жизни Джо Байдена

Кандидат в президенты США недолюбливает Porsche 911 и фанатеет от Corvette

РБК
Сыграть рукой: Григорий Туманов — о том, почему слитое видео Дзюбы превратило интернет в сеанс коллективной мастурбации Сыграть рукой: Григорий Туманов — о том, почему слитое видео Дзюбы превратило интернет в сеанс коллективной мастурбации

Почему чувственность известного футболиста задела тонкие струны русской души?

Esquire
Лучшее антистрессовое занятие осени и зимы — кормить птиц. Вот как делать это правильно Лучшее антистрессовое занятие осени и зимы — кормить птиц. Вот как делать это правильно

Чтобы кормить птиц правильно, стоит учесть несколько простых, но важных советов

Esquire
Вспоминаем, как сложилась карьера Романа Виктюка и как он стал гением театра абсурда Вспоминаем, как сложилась карьера Романа Виктюка и как он стал гением театра абсурда

Волей к чистой форме, во всем определяющей содержание, Виктюк был одержим всегда

GQ
Как проснуться без отеков — 5 незаметных вещей, которые делают лицо одутловатым Как проснуться без отеков — 5 незаметных вещей, которые делают лицо одутловатым

Надоело просыпаться с отеками и ждать до вечера, пока они разойдутся?

Cosmopolitan
Зебровые амадины распознали по голосу до 57 сородичей Зебровые амадины распознали по голосу до 57 сородичей

Зебровые амадины распознают и запоминают голоса своих сородичей

N+1
Как распознать киберпреступников в «черную пятницу» Как распознать киберпреступников в «черную пятницу»

Эксперт рассказывает, как распознать киберпреступников в дни распродаж

СНОБ
Маршал Воробьёв, инженер Победы Маршал Воробьёв, инженер Победы

Маршал Михаил Петрович Воробьёв сделал очень многое для обороны Москвы

Дилетант
Индейцы пожевали галлюциногенного дурмана и нарисовали его цветок в пещере Индейцы пожевали галлюциногенного дурмана и нарисовали его цветок в пещере

Ученые выяснили, что спиральный узор на потолке пещеры — изображение дурмана

N+1
«Александра Трусова. Девочка, победившая гравитацию» – книга о феномене фигурного катания «Александра Трусова. Девочка, победившая гравитацию» – книга о феномене фигурного катания

Книга про падения, четверные прыжки и встречу с Ириной Родниной

GQ
Жесткая конкуренция Жесткая конкуренция

История медиавойны между Playboy и его амбициозным подражателем

Playboy
Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40 Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40

WD-40 создавали смазку для космических ракет, а её формула хранится в секрете

VC.RU
Цыганское счастье Алексея Никульникова Цыганское счастье Алексея Никульникова

Сорок лет назад на экраны вышел многосерийный фильм Александра Бланка «Цыган»

Караван историй
Сериал «Корона» по-прежнему очень роскошный, но больше не впечатляет Сериал «Корона» по-прежнему очень роскошный, но больше не впечатляет

Самое дорогое жизнеописание, но все-таки слишком далекое от истины

GQ
Досадно, обидно: как не сломаться, если вы стали жертвой мошенников Досадно, обидно: как не сломаться, если вы стали жертвой мошенников

Все мы когда-то становились жертвами мошенничества

Psychologies
Неординарный Неординарный

Итальянский шеф Антонио Фреза вышел из матрицы как Нео

Собака.ru
Сколько состояний материи вы сможете назвать: мир вокруг нас Сколько состояний материи вы сможете назвать: мир вокруг нас

Все мы знаем о том, что есть три агрегатных состояния вещества

Популярная механика
Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество

Как сложилась судьба первых моделей СССР — от Збарской до Мироновой

Cosmopolitan
Теперь можно подключить компьютер к мозгу по венам Теперь можно подключить компьютер к мозгу по венам

Как управлять гаджетам, используя разум

GQ
Мария Склодовская-Кюри  – супергероиня от науки: в прокат выходит фильм о жизни ученой Мария Склодовская-Кюри  – супергероиня от науки: в прокат выходит фильм о жизни ученой

Фильм о Марии Склодовской-Кюри, которому не удалось выйти за рамки ЖЗЛ

Forbes
Значимые следы: как любители грубых ботинок меняли историю Значимые следы: как любители грубых ботинок меняли историю

Рассказываем о шести главных бунтарях в истории ХХ и XXI веков

Esquire
Как исправить неудачный татуаж — рассказывает мастер перманентного макияжа Как исправить неудачный татуаж — рассказывает мастер перманентного макияжа

Неудачный перманент — это неприятно, но исправимо. Рассказываем, как

Cosmopolitan
Юля говорит: Юлия Ахмедова Юля говорит: Юлия Ахмедова

Чудо-женщина российского стендапа Юлия Ахмедова шутит о самых серьезных вещах

Glamour
Открыть в приложении