Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нетопыри-карлики продемонстрировали самоубийственное влечение к ветрякам Нетопыри-карлики продемонстрировали самоубийственное влечение к ветрякам

Нетопырей-карликов привлекают ветряки

N+1
Ананасы в шампанском — это пульс вечеров! Ананасы в шампанском — это пульс вечеров!

О литературном и гастрономическом вкусе Серебряного века

Наука и жизнь
Алгоритм GPT-3 от компании OpenAI умеет писать почти неотличимые от созданных человеком тексты. Что это значит для будущего человечества? Алгоритм GPT-3 от компании OpenAI умеет писать почти неотличимые от созданных человеком тексты. Что это значит для будущего человечества?

Искусственный интеллект все глубже проникает в нашу жизнь

Inc.
Лига чемпионов асов Второй мировой — кто сбивал больше всех Лига чемпионов асов Второй мировой — кто сбивал больше всех

Главные бомбардиры своих стран

Maxim
Правила здорового сна: уберите от кровати гаджеты и яблоки Правила здорового сна: уберите от кровати гаджеты и яблоки

Удается ли вам спать достаточное количество часов?

Psychologies
«Заранее решено, что выиграет Березовский»: отрывок о приватизации в России из новой книги Михаила Зыгаря «Все свободны» «Заранее решено, что выиграет Березовский»: отрывок о приватизации в России из новой книги Михаила Зыгаря «Все свободны»

Отрывок из книги «Все свободны» — как проходили залоговые аукционы 1995 года

Forbes
Гигантских летучих кускусов предложили разделить на три вида Гигантских летучих кускусов предложили разделить на три вида

Ученые предложили разделить гигантских летучих кускусов на три вида

N+1
Зачем смотреть «Метод 2» — отчаянно китчевый, но затягивающий сериал Зачем смотреть «Метод 2» — отчаянно китчевый, но затягивающий сериал

К чему привели бессовестные сюжетные ходы в сериале «Метод 2»

РБК
Жером Палаззолло: «Болезни Жером Палаззолло: «Болезни

Психотерапевт рассказывает об опасности психосоматических заболеваний

Здоровье
Сырная карта России Сырная карта России

У нас в стране есть регионы, где производят уникальный местный сыр

National Geographic
Во всем виноваты родители? Почему стало модно искать все проблемы в детстве Во всем виноваты родители? Почему стало модно искать все проблемы в детстве

Действительно мама и папа виноваты в наших бедах или пора наконец повзрослеть?

Cosmopolitan
Как в русской литературе появился детективный жанр? Как в русской литературе появился детективный жанр?

Как судебная реформа Александра II повлияла на русскую литературу

Культура.РФ
Глобальное изменение климата обнажило историю культурного освоения норвежского ледника Глобальное изменение климата обнажило историю культурного освоения норвежского ледника

Оказалось, люди охотились на оленей в высокогорье больше 1000 лет назад

N+1
Биомешок или искуственная матка: заменят ли технологии женское тело Биомешок или искуственная матка: заменят ли технологии женское тело

Какими будут секс, еда, деторождение и смерть в ближайшем будущем

Forbes
Кондитерские премудрости: как правильно взбить сливки для торта Кондитерские премудрости: как правильно взбить сливки для торта

Взбивать сливки до нужной консистенции умеет далеко не каждая хозяйка

Cosmopolitan
«Мама, папа и собака»: питомец как член семьи «Мама, папа и собака»: питомец как член семьи

Какую роль питомцы играют в вашем доме?

Psychologies
Греко-болгарская схизма: парад церковных суверенитетов Греко-болгарская схизма: парад церковных суверенитетов

Как появилась национальная церковь на Балканах

Weekend
Как избавиться от зависти: 8 шагов к тому, чтобы перестать сравнивать себя с другими Как избавиться от зависти: 8 шагов к тому, чтобы перестать сравнивать себя с другими

Избавься от чувства постоянного неудовлетворения и начни жить своей жизнью

Playboy
«Нормально, Григорий! Отлично, Константин!»: как Михаил Жванецкий помогал стране переживать абсурдные эпохи «Нормально, Григорий! Отлично, Константин!»: как Михаил Жванецкий помогал стране переживать абсурдные эпохи

Как творчество Михаила Жванецкого повлияло на культуру России

Forbes
«Все мои любимые книги детства оказались классными» «Все мои любимые книги детства оказались классными»

Илья Бернштейн — о том, почему важно руководствоваться собственной ностальгией

Полка
10 советов, которые помогут вам сформировать здоровое отношение к технологиям 10 советов, которые помогут вам сформировать здоровое отношение к технологиям

Зои Астон укажет путь к разумным взаимоотношениям с экранами ваших устройств

GQ
7 привычек, которые делают тебя непривлекательным в глазах женщин 7 привычек, которые делают тебя непривлекательным в глазах женщин

Привычки, которых нужно избегать, чтобы быть привлекательным для женщин

Maxim
Новые технологии Renault. Вариаторы Новые технологии Renault. Вариаторы

На что способен новый вариатор Renault?

4x4 Club
Как взбодриться утром без кофе Как взбодриться утром без кофе

Что такое инерция сна и как ее победить

Reminder
Аэропорт Пулково Аэропорт Пулково

Аэропорт Пулково запустил процесс цифровой трансформации

РБК
Пингвинята появляются на свет: видео от пингвина-шпиона Пингвинята появляются на свет: видео от пингвина-шпиона

Оснащенному камерой робо-пингвину удалось снять момент рождения пингвиненка

National Geographic
Роман RAMZES666 Кушнарев: «Я получал от игры удовольствие, и она начала приносить мне деньги» Роман RAMZES666 Кушнарев: «Я получал от игры удовольствие, и она начала приносить мне деньги»

Самый узнаваемый российский киберспортсмен рассказывает об индустрии видеоигр

GQ
Персональная ответственность довела министров до выхода Персональная ответственность довела министров до выхода

Состав обновленного правительства вновь подвергся изменениям

Эксперт
Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40 Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40

WD-40 создавали смазку для космических ракет, а её формула хранится в секрете

VC.RU
Дарит прокрастинацию, чувство вины и забирает радость от жизни: почему список дел хуже расписания в календаре Дарит прокрастинацию, чувство вины и забирает радость от жизни: почему список дел хуже расписания в календаре

Вы встречали кого-то, кто выполняет всё, что обещал сделать за день?

VC.RU
Открыть в приложении