Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Аммиак из пингвиньего гуано внес вклад в формирование облаков над Антарктидой Аммиак из пингвиньего гуано внес вклад в формирование облаков над Антарктидой

Из-за чего падает облачность в Антарктике?

N+1
Индивидуально подобранная стимуляция помогла улучшить речь после инсульта Индивидуально подобранная стимуляция помогла улучшить речь после инсульта

Ученые опробовали транскраниальную микрополяризацию на пациентах с афазией

N+1
Неприятная правда о чат-ботах c ИИ: они способны выдавать незаконную информацию Неприятная правда о чат-ботах c ИИ: они способны выдавать незаконную информацию

Эксперты выяснили, что многие чат-боты на базе ИИ легко поддаются манипуляциям

Inc.
Три способа выгодно продать детей в истории Три способа выгодно продать детей в истории

Нетривиальные судьбы детей в разные исторические периоды

Maxim
8 доказанных наукой привычек, которые действительно повышают интеллект 8 доказанных наукой привычек, которые действительно повышают интеллект

Какие ритуалы стоит добавить в свою рутину, чтобы стать умнее

Maxim
Сексуальный абьюз: как предупредить ребенка об опасности Сексуальный абьюз: как предупредить ребенка об опасности

Как говорить с детьми о сексуальном абьюзе? Рассказывает психотерапевт

Psychologies
Хурма – зимняя ягода Хурма – зимняя ягода

Рассказываем, в чем польза хурмы, как ее выбирать и какие блюда с ней готовить

Здоровье
Канистра всех времен и народов — изобретение вермахта, благодаря которому союзники выиграли войну Канистра всех времен и народов — изобретение вермахта, благодаря которому союзники выиграли войну

На фронте мелочей не бывает

Maxim
Оглянись с любовью. К 60-летию Олега Меньшикова Оглянись с любовью. К 60-летию Олега Меньшикова

Блистательная и драматичная судьба Олега Меньшикова

СНОБ
Физики объяснили появление параллельных бороздок на известняковых склонах Физики объяснили появление параллельных бороздок на известняковых склонах

Физики установили, как образуются желобковые карры

N+1
Чем болели президенты США (втайне от простых американцев) Чем болели президенты США (втайне от простых американцев)

Кто основал среди американских лидеров традицию болеть

Maxim
Этан, метан, азот и Титан Этан, метан, азот и Титан

Титан можно было бы даже сравнить с Землёй, если бы не одно «но»

Наука и жизнь
Платье-миди: главные опасности модели и с чем ее носить, чтобы выглядеть стильно Платье-миди: главные опасности модели и с чем ее носить, чтобы выглядеть стильно

Собираем стильные образы с платьем-миди в главной роли

Cosmopolitan
«Люкс превратился в один большой магазин дьюти-фри»: лучшие высказывания Тильды Суинтон об одежде, моде и стиле и ее знаковые кинообразы «Люкс превратился в один большой магазин дьюти-фри»: лучшие высказывания Тильды Суинтон об одежде, моде и стиле и ее знаковые кинообразы

Тильда Суинтон о моде и отношениях с одеждой

Esquire
Вопрос психологу: что такое синдром самозванца? Вопрос психологу: что такое синдром самозванца?

Синдром самозванца — это не медицинский диагноз, но он может испортить жизнь

Esquire
MAXIM чуть протрезвел и рецензирует фильм «Еще по одной» с Мадсом Миккельсеном MAXIM чуть протрезвел и рецензирует фильм «Еще по одной» с Мадсом Миккельсеном

В европейских городах тоже водятся пьяные физруки!

Maxim
Современный альфонс: как не попасться на удочку Современный альфонс: как не попасться на удочку

Что делать, чтобы уберечься от альфонса?

Cosmopolitan
Соли металлов антиперспиранта заменили на минералы из пота Соли металлов антиперспиранта заменили на минералы из пота

Физики предложили новый тип антиперспиранта на основе адсорбирующего материала

N+1
Пять преступников номер один в мире Пять преступников номер один в мире

Хит-парад злодеев современности

Maxim
Когда в России прошла первая выставка кошек? Когда в России прошла первая выставка кошек?

Как и когда прошла первая отечественная выставка кошек

Культура.РФ
Уроки демократии за высокий прайс: что мы узнали из нашумевших мемуаров Барака Обамы Уроки демократии за высокий прайс: что мы узнали из нашумевших мемуаров Барака Обамы

Отрывок из книги «Земля обетованная» — мемуаров 44 президента США Барака Обамы

Esquire
Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество Как сложились судьбы главных манекенщиц СССР: нищета, суицид и одиночество

Как сложилась судьба первых моделей СССР — от Збарской до Мироновой

Cosmopolitan
Последний дубль: чем закончилась карьера детей-актеров из СССР и Голливуда Последний дубль: чем закончилась карьера детей-актеров из СССР и Голливуда

Они перестали быть и юными, и актерами...

Cosmopolitan
«У меня есть внутренний страх привязаться к деньгам»: правила потребления сооснователя Grow Food Даниэля Гальпера «У меня есть внутренний страх привязаться к деньгам»: правила потребления сооснователя Grow Food Даниэля Гальпера

Сооснователь и CEO Grow Food Даниэль Гальпер: как он не копит деньги как хомяк

Forbes
«Ход королевы»: шахматы, зависимость и никакой политики в новом сериале Netflix «Ход королевы»: шахматы, зависимость и никакой политики в новом сериале Netflix

Интеллектуальная драма от режиссера «Логана» с Аней Тейлор-Джой в главной роли

GQ
Ольгерд vs Дмитрий Ольгерд vs Дмитрий

«Собирателем» русских земель могло стать Литовское, а не Московское княжество

Дилетант
«Женщины слишком эмоциональны и не умеют рисковать». Почему в российском венчуре так мало женщин «Женщины слишком эмоциональны и не умеют рисковать». Почему в российском венчуре так мало женщин

Почему венчур до сих пор остаётся «мужским клубом»?

Inc.
«Я сделала своего мужа миллионером» «Я сделала своего мужа миллионером»

Популярный блогер Яна Sims рассказала, как вдохновить своего мужчину

OK!
Как сделать девушке приятно, не залезая к ней в постель, да еще и заработать Как сделать девушке приятно, не залезая к ней в постель, да еще и заработать

Умеешь починить розетку и прибить к холодильнику полку?

Maxim
Дважды в Голливуде Дважды в Голливуде

«Афера по-голливудски» — ремейк культовой комедии 1980-х

Weekend
Открыть в приложении