Ученые создали алгоритм, который превращает текст в жестовую речь

N+1Hi-Tech

Нейросеть перевела текст в жестовую речь

Григорий Копиев

Ben Saunders et al. / arXiv.org, 2020

Британские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Северный олень добрался до испанской Атапуэрки не меньше 243 тысяч лет назад Северный олень добрался до испанской Атапуэрки не меньше 243 тысяч лет назад

Испанские ученые обнаружили в Атапуэрке зуб северного оленя времен оледенений

N+1
Пластичность мозга Пластичность мозга

Потрясающие факты о том, как мысли способны менять структуру и функции мозга

kiozk originals
Дружелюбный инсайдер: как ИИ становится новым каналом утечек Дружелюбный инсайдер: как ИИ становится новым каналом утечек

ИИ против безопасности: почему компании теряют данные через ChatGPT

Forbes
Культурный слой советского периода: Майя Кучерская о «Секретиках» Петра Алешковского Культурный слой советского периода: Майя Кучерская о «Секретиках» Петра Алешковского

Книга «Секретики» напрашивается на каламбур — но она действительно «с секретом»

Школа Masters
Для чего нужен магниевый анод в бойлерах накопительного типа? Для чего нужен магниевый анод в бойлерах накопительного типа?

От чего и как именно защищает магниевый анод в бойлере косвенного нагрева?

CHIP
Кто делает сумки для королевы Елизаветы II и где их купить Кто делает сумки для королевы Елизаветы II и где их купить

Британский бренд Launer стал очень популярен после выхода 4 сезона «Короны»

РБК
Вне времени: как Леонардо ДиКаприо транслирует с экрана идеальный классический мужской образ с налетом ретро Вне времени: как Леонардо ДиКаприо транслирует с экрана идеальный классический мужской образ с налетом ретро

Кинообразы Леонардо ДиКаприо — вечная классика мужского гардероба

Esquire
Поимка «тихого убийцы» Поимка «тихого убийцы»

Нобелевская премия 2020 года присуждена за открытие вируса гепатита C

Наука и жизнь
Выпускница Гарварда родом из СССР: чем известна новый президент Молдавии Майя Санду Выпускница Гарварда родом из СССР: чем известна новый президент Молдавии Майя Санду

Что известно о карьере, политических взглядах и достижениях президентки Молдавии

Forbes
Ожидания и реальность: топ-7 фэйлов в стиле, которые случаются у девушек Ожидания и реальность: топ-7 фэйлов в стиле, которые случаются у девушек

Тренер по стилю Роман Медны объясняет, как не ошибиться, следуя советам по стилю

Cosmopolitan
Toyota C-HR. Восторг и недоумение Toyota C-HR. Восторг и недоумение

Toyota C-HR — автомобиль, который можно смело назвать дизайнерским

4x4 Club
Мнение: Spotify убивает открытую и доступную экосистему подкастов Мнение: Spotify убивает открытую и доступную экосистему подкастов

Как Spotify пошатнул доступность подкастов везде, на любой платформе

VC.RU
Как выиграть переговоры: 4 секрета от бывшего агента ФБР Как выиграть переговоры: 4 секрета от бывшего агента ФБР

Эти советы обязательно помогут тебе в жизни

Playboy
Apple обвинили в слежке за пользователями. Разбираемся, как этого избежать Apple обвинили в слежке за пользователями. Разбираемся, как этого избежать

Facebook следит, Google следит, неужели Apple лучше их?

Maxim
Из развалюхи в особняк: дома знаменитостей до начала карьеры и после Из развалюхи в особняк: дома знаменитостей до начала карьеры и после

Дома, в которых звезды жили до славы, и те, в которых они живут сейчас

Cosmopolitan
Как защитить телефон от кражи данных Как защитить телефон от кражи данных

Как пользователям смартфонов защититься от взломов

СНОБ
И ничего не бойся! И ничего не бойся!

Почему у одних мечты сбываются, а у других – нет?

Домашний Очаг
Все дороги ведут в стрим Все дороги ведут в стрим

Разбираемся, что лучше смотреть на стриминговых сервисах, доступных в России

Playboy
Поставь смайлик: в чем секрет неотразимой улыбки? Поставь смайлик: в чем секрет неотразимой улыбки?

В чем заключается природа улыбки, почему и в каких ситуациях мы улыбаемся?

Psychologies
Фрикомыслие Фрикомыслие

Нестандартные подходы к решению проблем

kiozk originals
Сами мы местные: как производят оптоволокно в России Сами мы местные: как производят оптоволокно в России

Российскому рынку оптоволокна есть куда расти

Inc.
Как открыть свой бизнес: 9 главных шагов для желающих начать свое дело Как открыть свой бизнес: 9 главных шагов для желающих начать свое дело

Подробный гайд для начинающих предпринимателей

Playboy
Сколько состояний материи вы сможете назвать: мир вокруг нас Сколько состояний материи вы сможете назвать: мир вокруг нас

Все мы знаем о том, что есть три агрегатных состояния вещества

Популярная механика
«Давайте их куда-нибудь сдадим». Неожиданные итоги родительского опроса «Давайте их куда-нибудь сдадим». Неожиданные итоги родительского опроса

Касательно подростков мнение родителей единодушно — всех в интернат!

СНОБ
Безногие сцинки заново отрастили конечности ради выживания во влажном климате Безногие сцинки заново отрастили конечности ради выживания во влажном климате

Конечности помогают этим ящерицам бегать по поверхности и зарываться в почву

N+1
Как носить пальто поверх теплой одежды и небрежно повязывать шарф — учимся у Венсана Касселя Как носить пальто поверх теплой одежды и небрежно повязывать шарф — учимся у Венсана Касселя

Венсан Кассель — мастер непринужденных, расслабленных, даже небрежных образов

Esquire
Чем заняться в долгой поездке: 15 способов не умереть со скуки в дороге Чем заняться в долгой поездке: 15 способов не умереть со скуки в дороге

Как скоротать время в поездке на общественном транспорте и в автомобиле

Playboy
5 писателей-фантастов, предсказавших будущее 5 писателей-фантастов, предсказавших будущее

Этим авторам удалось предвидеть тенденции развития нашего мира

Популярная механика
7 продуктов, из-за которых твоя кожа выглядит хуже: не ешь это! 7 продуктов, из-за которых твоя кожа выглядит хуже: не ешь это!

Эти продукты лучше вообще никому не есть

Cosmopolitan
Почему мясо нельзя с хлебом, а кофе с молоком, или Что мешает усвоению питательных веществ? Почему мясо нельзя с хлебом, а кофе с молоком, или Что мешает усвоению питательных веществ?

Как избежать дефицитных состояний будущей маме?

9 месяцев
Открыть в приложении