Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мезозойские млекопитающие и их родственники оказались обладателями однотонного темно-коричневого меха Мезозойские млекопитающие и их родственники оказались обладателями однотонного темно-коричневого меха

Палеонтологи реконструировали окраску шести маммалиаформов

N+1
Как первые советские авиа-рекордсменки 10 дней выживали в тайге Как первые советские авиа-рекордсменки 10 дней выживали в тайге

Драматическая история полета целиком женского экипажа на самолете «Родина»

Maxim
«Огонь-батареи»: как изменились космические солнечные батареи за 67 лет «Огонь-батареи»: как изменились космические солнечные батареи за 67 лет

Какой путь прошли солнечные элементы космического типа с момента изобретения?

ТехИнсайдер
Рыба — это геноцид. Стартап предпринимателя-коммуниста Finless Foods хочет приучить людей к веганской рыбе Рыба — это геноцид. Стартап предпринимателя-коммуниста Finless Foods хочет приучить людей к веганской рыбе

Отрывок из книги Дженни Климан «Секс без людей, мясо без животных»

Inc.
6 ошибок при использовании солнцезащитного крема: запомните и никогда так больше не делайте 6 ошибок при использовании солнцезащитного крема: запомните и никогда так больше не делайте

Рассказываем, что делать с солнцезащитным кремом не надо

ТехИнсайдер
Сладкая несладкая жизнь Сладкая несладкая жизнь

Учёные нашли ещё одно доказательство негативного влияния сахара на наше здоровье

Здоровье
Умная почка Умная почка

Почки создают условия для высокой эффективности работы клеток всех органов

Наука и жизнь
Новая. Открытая Новая. Открытая

Даша Астафьева эмоционально обнажается в черно-белой фотосессии

Playboy
Концентрация таланта: почему в компании не нужно оставлять середнячков и меланхоликов Концентрация таланта: почему в компании не нужно оставлять середнячков и меланхоликов

Отрывок из книги CEO Netflix Ричарда Хастингса «Никаких правил»

Inc.
35 лет ОС Windows: как выглядела самая первая версия ОС 35 лет ОС Windows: как выглядела самая первая версия ОС

Как пользовались Windows до того, как это стало модным

Maxim
Spider-Man: Miles Morales — игра, которая разбудит в вас ребенка. Обзор одного из флагманов новой консоли PS5 Spider-Man: Miles Morales — игра, которая разбудит в вас ребенка. Обзор одного из флагманов новой консоли PS5

Обзор продолжения Spider-Man, где нужно сыграть за Майлза Моралеса

Esquire
Калязин. Фрески затопленного монастыря Калязин. Фрески затопленного монастыря

История единственной коллекции фресковой живописи Троице-Макарьева монастыря

Наука и жизнь
5 способов борьбы с тревогой: советы тренера по боевым искусствам 5 способов борьбы с тревогой: советы тренера по боевым искусствам

Борьба со стрессом: попробуйте вернуться в тело, почувствуйте ритм, движение

Psychologies
Какие режиссеры страдают фаворитизмом Какие режиссеры страдают фаворитизмом

Кто из режиссеров не может обойтись без своего любимого актера?

GQ
Беззащитные перед космосом: десятиметровый астероид прошел над Землей незамеченным ниже МКС Беззащитные перед космосом: десятиметровый астероид прошел над Землей незамеченным ниже МКС

Астероид 2020 VT4 подошел к Земле ближе, чем Международная космическая станция

Forbes
11 стильных советов от молодого Леонардо ДиКаприо 11 стильных советов от молодого Леонардо ДиКаприо

В 1990-х Леонардо ДиКаприо был иконой стиля

GQ
Из нуклеотидных последовательностей сделали генератор истинно случайных чисел Из нуклеотидных последовательностей сделали генератор истинно случайных чисел

Ученые разработали генератор случайных чисел на основе ДНК

N+1
Типично псковские дали Типично псковские дали

Едем на длинные выходные в Псковскую область

Seasons of life
Деструктивные привычки хронически несчастных людей Деструктивные привычки хронически несчастных людей

Как развивается «синдром несчастья» и какие привычки этому способствуют

Psychologies
Не просто шлепок: почему детей нельзя наказывать физически Не просто шлепок: почему детей нельзя наказывать физически

Как физические наказания влияют на детей

Psychologies
Как ухаживать за замшевой обувью: эксплуатация, чистка и 6 лучших средств Как ухаживать за замшевой обувью: эксплуатация, чистка и 6 лучших средств

Замшевая обувь неприхотлива в уходе, но даже тут есть свои нюансы и тонкости

Cosmopolitan
Разделяй и властвуй: зачем государства пытаются ограничить IT-компании Разделяй и властвуй: зачем государства пытаются ограничить IT-компании

IT-компании превратились в конкурентов государств

Forbes
Не любовь, а саморазрушение: история отношений Мадонны и Шона Пенна Не любовь, а саморазрушение: история отношений Мадонны и Шона Пенна

Любовь Мадонны и Пенна как в старом итальянском кино: с битой посудой и криками

Cosmopolitan
Сколько лет Вселенной — все версии Сколько лет Вселенной — все версии

Люди с древних времен интересовались возрастом Вселенной и, наконец, нашли ответ

Популярная механика
«Социально опасные дети» «Социально опасные дети»

Колония, в которой содержались «малолетние преступники»

Дилетант
Как устроены самолеты-авианосцы: небесные колоссы Как устроены самолеты-авианосцы: небесные колоссы

Каким образом конструкторы работали над решением проблемы защиты авианосцев?

Популярная механика
Чтобы добиться успеха, вам нужны 5 качеств, которые есть у Джеффа Безоса, Илона Маска и Билла Гейтса Чтобы добиться успеха, вам нужны 5 качеств, которые есть у Джеффа Безоса, Илона Маска и Билла Гейтса

Как развить в себе пять важных черт характера, которыми обладают успешные люди

Inc.
Почему Россия проиграла президентские выборы в Молдавии Почему Россия проиграла президентские выборы в Молдавии

Россия потерпела очередное за 2020 год поражение на постсоветском пространстве

СНОБ
Холодный расчет Холодный расчет

Как скорректировать рацион в холода, чтобы не набрать вес?

Лиза
«Вьетнам. История трагедии. 1945–1975» «Вьетнам. История трагедии. 1945–1975»

Отрывок из книги «Вьетнам. История трагедии. 1945–1975» Макса Хейстингса

N+1
Открыть в приложении