Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

У бонобо нашли вокальные диалекты У бонобо нашли вокальные диалекты

Ученые сравнили вокализации бонобо из трех разных зоопарков

N+1
Кислородная катастрофа: событие, запустившее эволюцию жизни на Земле Кислородная катастрофа: событие, запустившее эволюцию жизни на Земле

«Кислородная революция» изменила химический состав поверхности планеты

Популярная механика
Как проверить, что ИИ достиг уровня интеллекта человека Как проверить, что ИИ достиг уровня интеллекта человека

Как понять, на каком уровне развития находится искусственный интеллект?

ТехИнсайдер
Дарья Мороз: “За четыре года я стала другим человеком” Дарья Мороз: “За четыре года я стала другим человеком”

Дарья Мороз и стереотипы — две несовместимые вещи

Psychologies
«Если это не любовь, то что?»: созависимость в отношениях «Если это не любовь, то что?»: созависимость в отношениях

Почему мы выбираем холодных партнеров? Как отличить любовь от созависимости?

Psychologies
Весомый аргумент Весомый аргумент

TRX обращает вес тела в его силу

GQ
«Мы сидим на грантовой игле»: как журналистка запустила программу реабилитации для людей с ДЦП «Мы сидим на грантовой игле»: как журналистка запустила программу реабилитации для людей с ДЦП

Интервью с основательницей проекта «Лига мечты» Натальей Белоголовцевой

Forbes
Ни единой соринки! Ни единой соринки!

Универсальный гид по наведению порядка

Лиза
В плену чувств: как звуки, вкусы и ароматы определяют наши потребительские желания В плену чувств: как звуки, вкусы и ароматы определяют наши потребительские желания

Глава из книги «Эстетический интеллект» — о работе брендов с ощущениями

Forbes
Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40 Сделать бизнес на одном товаре и продавать его 60 лет: история универсальной смазки WD-40

WD-40 создавали смазку для космических ракет, а её формула хранится в секрете

VC.RU
Иллюзия успеха Иллюзия успеха

Четыре истории о талантливых мастерах пускать пыль в глаза

Популярная механика
Разделяй и властвуй: зачем государства пытаются ограничить IT-компании Разделяй и властвуй: зачем государства пытаются ограничить IT-компании

IT-компании превратились в конкурентов государств

Forbes
Музыкант 2020 года: Моргенштерн Музыкант 2020 года: Моргенштерн

Моргенштерн — автор самых популярных и самых неразборчивых треков в 2020 году

GQ
Смерть обсерватории Смерть обсерватории

После серии аварий «культовый» телескоп Arecibo может закрыться навсегда

Популярная механика
10 советов, которые помогут вам сформировать здоровое отношение к технологиям 10 советов, которые помогут вам сформировать здоровое отношение к технологиям

Зои Астон укажет путь к разумным взаимоотношениям с экранами ваших устройств

GQ
Нет офиса, нет проблем: как «единорог» с украинскими корнями учит мир работать на удаленке Нет офиса, нет проблем: как «единорог» с украинскими корнями учит мир работать на удаленке

GitLab стал одним из самых дорогих стартапов в мире, не открыв ни одного офиса

Forbes
Бескрайний надзор Бескрайний надзор

Зачем России столько проверяющих органов?

Огонёк
Как разнообразить интимную жизнь: 11 интригующих идей для пар, готовых к экспериментам Как разнообразить интимную жизнь: 11 интригующих идей для пар, готовых к экспериментам

Подборка способов, которые помогут добавить новизны в сексуальные отношения

Playboy
Попасть в цвет Попасть в цвет

Наиболее распространенные ошибки при окрашивании волос

Лиза
Мифы и легенды о Байкале Мифы и легенды о Байкале

Вспоминаем бурятские легенды и научные факты о суровом «сибирском море»

Культура.РФ
Редко дарят подарки? Все дело в благодарности Редко дарят подарки? Все дело в благодарности

Разбираемся в психологии подарков и самоценности вместе с психологом

Psychologies
Лига чемпионов асов Второй мировой — кто сбивал больше всех Лига чемпионов асов Второй мировой — кто сбивал больше всех

Главные бомбардиры своих стран

Maxim
В водном конденсате обнаружили перекись водорода В водном конденсате обнаружили перекись водорода

Ученые: в микрокаплях воды при конденсации образуется перекись водорода

N+1
Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody Прокачай себя! Тренировка c REBOOT LIVE #11. Кардиопрограмма Fullbody

Одиннадцатая тренировка из цикла Rebbot: кардиопрограмма

Maxim
Самые интересные фильмы про Скандинавию Самые интересные фильмы про Скандинавию

Фильмы о жизни на Скандинавском полуострове

GQ
Дарит прокрастинацию, чувство вины и забирает радость от жизни: почему список дел хуже расписания в календаре Дарит прокрастинацию, чувство вины и забирает радость от жизни: почему список дел хуже расписания в календаре

Вы встречали кого-то, кто выполняет всё, что обещал сделать за день?

VC.RU
Быть плохой девочкой: как найти ресурс в «нехороших» качествах Быть плохой девочкой: как найти ресурс в «нехороших» качествах

Качества, которые ценятся в ребенке, и качества взрослого очень отличаются

Psychologies
5 нелепых исторических событий 5 нелепых исторических событий

Самые удивительные и необычные исторические факты, в которые трудно поверить

Maxim
Редкие животные, которых осталось меньше 100 особей Редкие животные, которых осталось меньше 100 особей

Уже сейчас эти виды находятся под угрозой исчезновения

Популярная механика
Сыграли в любовь! Актеры, которые после расставания продолжили сниматься вместе Сыграли в любовь! Актеры, которые после расставания продолжили сниматься вместе

Кому из знаменитостей удалось поддерживать отношения на съемках после разрыва

Cosmopolitan
Открыть в приложении