Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

На римском памятнике впервые нашли артефакт из ископаемого трилобита На римском памятнике впервые нашли артефакт из ископаемого трилобита

Как архаичные люди могли использовать окаменелости трилобитов?

N+1
Чем наполнить новогодние праздники Чем наполнить новогодние праздники

Как порадовать себя в новогодние праздники и сделать эти дни чудесными

Домашний Очаг
На зарядку становись: как развиваются инфраструктурные технологии для электромобилей На зарядку становись: как развиваются инфраструктурные технологии для электромобилей

Как инфраструктура для электромобилей способна изменить рынок

Forbes
Путешествие в Рождество Путешествие в Рождество

Подмосковный дом, которому позавидовал бы и сам Дед Мороз

AD
Иммунитет от хамства: как реагировать на грубость Иммунитет от хамства: как реагировать на грубость

Как защититься от хамства, не опускаясь до него?

Psychologies
Полутьма египетская Полутьма египетская

«Паранормальные явления» — очень симпатичный арабском хоррор-сериал Netflix

Weekend
Танцы со звездами Танцы со звездами

Выставка «Сесил Битон и культ звезд», посвященная великому фотографу моды

Vogue
Пазл сложился Пазл сложился

Квартира мечты в сталинском доме близ Тимирязевского лесопарка

AD
Матери площади Мая Матери площади Мая

Как матери исчезнувших оппозиционеров организовали акцию бессрочного протеста

Дилетант
Человечество Человечество

Обнадеживающая история

kiozk originals
Одиссей, Малина, Арья: почему детям дают необычные имена Одиссей, Малина, Арья: почему детям дают необычные имена

Чем руководствуются взрослые, когда размышляют, как назвать сына или дочь?

Psychologies
Батальон «Царица Тамара»: последнее европейское сражение Второй мировой войны Батальон «Царица Тамара»: последнее европейское сражение Второй мировой войны

Бой на острове Тексел стал апофеозом безумия войны

Maxim
Ученые построили веревочные мосты для самых редких гиббонов Ученые построили веревочные мосты для самых редких гиббонов

Конструкция помогла хайнаньским гиббонам справиться с последствиями тайфуна

N+1
6 правил питания, которым пора перестать следовать: рассказывают диетологи 6 правил питания, которым пора перестать следовать: рассказывают диетологи

Пищевые привычки, которые не совсем обоснованы

Playboy
Как выбрать жесткий диск для компьютера или ноутбука Как выбрать жесткий диск для компьютера или ноутбука

На какие характеристики обратить внимание, выбирая жесткий диск?

CHIP
Пора освободить твой разум Пора освободить твой разум

Отчет о промежуточных итогах жизни и карьеры Тины Канделаки

Tatler
Специальная теория относительности помогла компьютеру предсказать будущее Специальная теория относительности помогла компьютеру предсказать будущее

Этот алгоритм поможет в разработке стратегий лечения в медицине

N+1
Как объяснить народные приметы с точки зрения науки, логики и здравого смысла Как объяснить народные приметы с точки зрения науки, логики и здравого смысла

Почему мы привыкли верить в приметы и как жить с этой верой в современном мире

Maxim
Ледяные вершины Плутона образовались из-за высотной разницы в количестве метана Ледяные вершины Плутона образовались из-за высотной разницы в количестве метана

Механизм образования ледников на Плутоне в корне отличен от земного

N+1
Заблуждение: причина невесомости на орбите - отсутствие гравитации Заблуждение: причина невесомости на орбите - отсутствие гравитации

Невесомость возникает из-за силы притяжения Земли

Популярная механика
Татьяна Волосожар: «Мотивировать ребенка — задача тренера, а не родителя» Татьяна Волосожар: «Мотивировать ребенка — задача тренера, а не родителя»

Как привить детям любовь к спорту? Отвечает олимпийская чемпионка

Psychologies
Как два англичанина с похмелья выиграли сложнейшую гонку мира Как два англичанина с похмелья выиграли сложнейшую гонку мира

«Мне стало чуть лучше только после двойного бренди…»

Maxim
Чем накормить маленького «гурмана»? Чем накормить маленького «гурмана»?

Далеко не каждая мама может сказать, что её ребёнок ест всё!

Здоровье
Эти странные силы инерции Эти странные силы инерции

Силы инерции — очень необычны

Наука и жизнь
«Надо помнить о том, что чума проходит, а Рим — вечен»: каким был «итальянский рай» Иосифа Бродского «Надо помнить о том, что чума проходит, а Рим — вечен»: каким был «итальянский рай» Иосифа Бродского

Интервью с автором книги «Иосиф Бродский в Риме» Юрием Левингом

Forbes
Юбилейное признание в любви к Никите Михалкову Юбилейное признание в любви к Никите Михалкову

Признание в любви самому спорному российскому кинорежиссеру Никите Михалкову

СНОБ
Юлдус Бахтиозина Юлдус Бахтиозина

Главная царевна современного искусства

Собака.ru
Как начать стримить на Twitch: пошаговая инструкция Как начать стримить на Twitch: пошаговая инструкция

Почему бы не попробовать запустить трансляцию своего геймплея?

CHIP
«Отдала им деньги, и только потом дошло». 4 новых схемы автоподставщиков «Отдала им деньги, и только потом дошло». 4 новых схемы автоподставщиков

Как мошенники разводят водителей на деньги

РБК
Семь экранизаций, финал которых отличается от книги Семь экранизаций, финал которых отличается от книги

Как изменить финал экранизации так, чтобы получить за это кинопремию

Maxim
Открыть в приложении