Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Начало неолита на северо-западе Южной Азии сдвинули примерно на три тысячи лет Начало неолита на северо-западе Южной Азии сдвинули примерно на три тысячи лет

Почему ученые пересмотрели хронологию поселения Мехргарх?

N+1

Немецкий сериал "Варвары" — кровавый и пассионарный эпос о германском восстании

Esquire
Вход в провал: какие гаджеты опередили свое время и потерпели неудачу Вход в провал: какие гаджеты опередили свое время и потерпели неудачу

Гаджеты, которые обещали перевернуть нашу жизнь, но в итоге потерпели крах

Forbes
Дружба с ведущими кутюрье и французские фасоны в СССР: что Майя Плисецкая сделала для моды Дружба с ведущими кутюрье и французские фасоны в СССР: что Майя Плисецкая сделала для моды

Рассказываем, что связывает Майю Плисецкую с мировой модой

Esquire
Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов Девушки и яйца: как стильные и вкусные завтраки приносят сотни миллионов

Как две девушки сделали бизнес на блюдах с яйцами?

Forbes
100 самых честных правил мужского гардероба. Часть 3: аксессуары 100 самых честных правил мужского гардероба. Часть 3: аксессуары

Бескомпромиссные советы по стилю!

Maxim
Не любовь, а саморазрушение: история отношений Мадонны и Шона Пенна Не любовь, а саморазрушение: история отношений Мадонны и Шона Пенна

Любовь Мадонны и Пенна как в старом итальянском кино: с битой посудой и криками

Cosmopolitan
Откуда у Земли берутся мини-луны и что нам о них известно: новые факты Откуда у Земли берутся мини-луны и что нам о них известно: новые факты

«Космические скитальцы» — что это такое?

Популярная механика
На ошибках учатся На ошибках учатся

Леонид Жуков — об ответственности людей и машин за принятие критических решений

РБК
Психиатрия: что спровоцировало болезнь Кэтрин Зеты-Джонс Психиатрия: что спровоцировало болезнь Кэтрин Зеты-Джонс

Кэтрин Зета-Джонс считает, что ментальных проблем нельзя стыдиться

Cosmopolitan
Модель, ведьма, королева: кто такая Аня Тейлор-Джой Модель, ведьма, королева: кто такая Аня Тейлор-Джой

Рассказываем об актрисе, которая заполняет кинопрокат, стриминги и умы зрителей

РБК
Почему взрослым непросто учиться: плюсы и минусы образовательных подходов Почему взрослым непросто учиться: плюсы и минусы образовательных подходов

Зачастую нам мешает учиться неподходящий метод обучения

Psychologies
Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо» Изабель Юппер: «Думаю, феминистская повестка в кино – это очень хорошо»

Изабель Юппер примерила амплуа главы криминальной империи

Grazia
Как диагностировать и лечить боковой амиотрофический склероз Как диагностировать и лечить боковой амиотрофический склероз

Каждые 90 минут в мире диагностируют БАС

РБК
Узнать и обезвредить: как бороться с манипуляторами Узнать и обезвредить: как бороться с манипуляторами

О видах манипуляторов и способах борьбы с ними

Cosmopolitan
Лучшее антистрессовое занятие осени и зимы — кормить птиц. Вот как делать это правильно Лучшее антистрессовое занятие осени и зимы — кормить птиц. Вот как делать это правильно

Чтобы кормить птиц правильно, стоит учесть несколько простых, но важных советов

Esquire
10 самых памятных выступлений «Гражданина поэта» в исполнении Михаила Ефремова 10 самых памятных выступлений «Гражданина поэта» в исполнении Михаила Ефремова

Отрывки из проекта «Гражданин хороший» с участием Михаила Ефремова

Maxim
Как советский замполит захватил корабль, чтобы устроить революцию, и добрался до США Как советский замполит захватил корабль, чтобы устроить революцию, и добрался до США

История бунта, который все не так поняли

Weekend
Феномен английского детектива — в книге Люси Уорсли «Чисто британское убийство». Публикуем ее фрагмент Феномен английского детектива — в книге Люси Уорсли «Чисто британское убийство». Публикуем ее фрагмент

Введение к книге Люси Уорсли "Чисто британское убийство"

Esquire
Певчие птицы прогнали птенцов из гнезда ради выживания выводка Певчие птицы прогнали птенцов из гнезда ради выживания выводка

У большинства птиц срок выхода птенцов из гнезда определяют их родители

N+1
Материнское выгорание: личная история и 10 шагов для его профилактики Материнское выгорание: личная история и 10 шагов для его профилактики

Как справиться с материнским выгоранием

Psychologies
Не отнять, а стимулировать: зачем экономисты предложили повышать налоги в кризис Не отнять, а стимулировать: зачем экономисты предложили повышать налоги в кризис

Как повышение налогов может помочь экономике на этапе ее выхода из кризиса

Forbes
Компьютерный мозг Компьютерный мозг

Как работают настоящие нейроморфные микросхемы

Популярная механика
Как грамотно вести социальные сети, если за тобой бдит начальство: советы от сммщика Как грамотно вести социальные сети, если за тобой бдит начальство: советы от сммщика

Увольнение по постам: как не вылететь с работы за свои же соцсети

Maxim
Слишком большой бизнес: зачем основатель «Красного & Белого» объединил сеть с конкурентами и что поменялось за два года Слишком большой бизнес: зачем основатель «Красного & Белого» объединил сеть с конкурентами и что поменялось за два года

Что изменило слияние «Красного & Белого» с сетями «Бристоль» и «Дикси»

VC.RU
Викиномика Викиномика

Как массовое сотрудничество изменяет все

kiozk originals
Как Окинава стала островом с самым высоким в мире процентом долгожителей Как Окинава стала островом с самым высоким в мире процентом долгожителей

Окинава — эта не та привычная нам всем Япония

Maxim
Голос и здоровье: как они связаны? Голос и здоровье: как они связаны?

По голосу можно диагностировать, что происходит в теле

Psychologies
23 классические шутки Марка Твена 23 классические шутки Марка Твена

Вспоминаем великие цитаты Марка Твена

Maxim
«Наша платформа — это eBay для интеллектуальной собственности» «Наша платформа — это eBay для интеллектуальной собственности»

Что происходит на музыкальном B2B-рынке?

Forbes
Открыть в приложении