Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Игры с кошками помогли на треть снизить количество жертв охоты Игры с кошками помогли на треть снизить количество жертв охоты

Игровая активность и мясное питание снижают желание домашних котов охотиться

N+1
Ожидания и реальность: топ-7 фэйлов в стиле, которые случаются у девушек Ожидания и реальность: топ-7 фэйлов в стиле, которые случаются у девушек

Тренер по стилю Роман Медны объясняет, как не ошибиться, следуя советам по стилю

Cosmopolitan
GTA V: минимальные системные требования для комфортной игры GTA V: минимальные системные требования для комфортной игры

Требования для GTA V, которые определил разработчик

CHIP
Боты против уток. Сможет ли искусственный интеллект избавить соцсети от Fake News Боты против уток. Сможет ли искусственный интеллект избавить соцсети от Fake News

Мы считаем, что интернет создан ради нас, но на деле его пользователи — боты

РБК
Принцип 80/20 Принцип 80/20

Как достичь большего с наименьшими усилиями

kiozk originals
«Художник беззащитен перед родственниками» «Художник беззащитен перед родственниками»

Режиссер Алексей Учитель — о ситуации со своим новым фильмом «Цой»

Огонёк
Создатели балета «Шахерезада» — о работе над постановкой Создатели балета «Шахерезада» — о работе над постановкой

Как создавали балет «Шахерезада»

СНОБ
Белка опьянела, наевшись перебродивших груш: видео Белка опьянела, наевшись перебродивших груш: видео

История белки, которая случайно поела перебродивших груш

National Geographic
Суворов и многовекторность Суворов и многовекторность

Изучаем, почему фигура Александра Суворова остается политически знаковой

Огонёк
Премьера клипа «Космические силы» группы «Мумий Тролль» Премьера клипа «Космические силы» группы «Мумий Тролль»

Можно ли сегодня молчать об экологической обстановке?

СНОБ
Правила жизни Джона Гальяно Правила жизни Джона Гальяно

Правила жизни основателя бренда John Galliano

Esquire
Бамбуково-тростниковый стаканчик разложился наполовину за два месяца в земле Бамбуково-тростниковый стаканчик разложился наполовину за два месяца в земле

Одноразовая посуда, которая выигрывает у конкурентов

N+1
Curiosity нашел на Марсе признаки древнего наводнения Curiosity нашел на Марсе признаки древнего наводнения

Оно могло быть вызвано падением астероида

National Geographic
Иммунные клетки мигрировали из кишечника для защиты мозга Иммунные клетки мигрировали из кишечника для защиты мозга

Исследователи обнаружили в мозге иммунные клетки, которые произошли от кишечных

N+1
Самое древнее свидетельство существования животных могло оказаться ошибочным Самое древнее свидетельство существования животных могло оказаться ошибочным

Ученые узнали, что древние окаменелости могут быть не животными, а водорослями

National Geographic
Честер Беннингтон, Курт Кобейн и другие — как погибли звезды-самоубийцы Честер Беннингтон, Курт Кобейн и другие — как погибли звезды-самоубийцы

Истории звезд, чья жизнь рано и трагически оборвалась

Cosmopolitan
Ананасы в шампанском — это пульс вечеров! Ананасы в шампанском — это пульс вечеров!

О литературном и гастрономическом вкусе Серебряного века

Наука и жизнь
Кислород и водород на Марсе предложили получать из рассола Кислород и водород на Марсе предложили получать из рассола

Кислород и водород на Марсе хотят получать из марсианских озер

N+1
П.Р.И.Г.О.В.: категории П.Р.И.Г.О.В.: категории

Гид по основным темам и мотивам творчества Дмитрия Александровича Пригова

Полка
6 вещей, которые всегда будут мотивировать тебя справляться со всеми делами 6 вещей, которые всегда будут мотивировать тебя справляться со всеми делами

Что делать, когда кажется, что ты ничего не успеваешь

Playboy
В воде обнаружили перекись водорода. Никто не понимает, откуда она берётся В воде обнаружили перекись водорода. Никто не понимает, откуда она берётся

Учёные обнаружили — в каплях воды при конденсации образуется перекись водорода

Популярная механика
6 историй о возникновении популярных знаков и символов 6 историй о возникновении популярных знаков и символов

Почему эти знаки значат то, что значат?

Maxim
Скандий не желает сплавляться Скандий не желает сплавляться

Сплавы металлов с редкоземельным скандием не востребованы в промышленности

Эксперт
Как сделать девушке приятно, не залезая к ней в постель, да еще и заработать Как сделать девушке приятно, не залезая к ней в постель, да еще и заработать

Умеешь починить розетку и прибить к холодильнику полку?

Maxim
На вилле в Помпеях нашли останки двух человек. Они пытались спрятаться в подземном портике На вилле в Помпеях нашли останки двух человек. Они пытались спрятаться в подземном портике

В Помпеях нашли тела жертв извержения Везувия 79 года

N+1
Как избавиться от зависти: 8 шагов к тому, чтобы перестать сравнивать себя с другими Как избавиться от зависти: 8 шагов к тому, чтобы перестать сравнивать себя с другими

Избавься от чувства постоянного неудовлетворения и начни жить своей жизнью

Playboy
Какие режиссеры страдают фаворитизмом Какие режиссеры страдают фаворитизмом

Кто из режиссеров не может обойтись без своего любимого актера?

GQ
7 секретов счастливой жизни от автора «Секс в большом городе» 7 секретов счастливой жизни от автора «Секс в большом городе»

Кэндес Бушнелл делится правилами своего успеха

Cosmopolitan
Праздник к нам приходит Праздник к нам приходит

Светлана Лобода откровенно рассказала о том, как ей удается быть праздником

Cosmopolitan
7 животных, которые достигли в жизни большего, чем ты 7 животных, которые достигли в жизни большего, чем ты

Пингвин-полковник, кот-мэр и прочие возмутительно успешные представители фауны

Maxim
Открыть в приложении