Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Отправить 10000 сообщений и не сойти с ума: зачем компаниям нужен чат-бот Отправить 10000 сообщений и не сойти с ума: зачем компаниям нужен чат-бот

Сегодня социальные сети - основной инструмент коммуникации

Популярная механика
«Как я спасся с 81 этажа Центра международной торговли». Прямая речь американца, выжившего в теракте 11 сентября «Как я спасся с 81 этажа Центра международной торговли». Прямая речь американца, выжившего в теракте 11 сентября

Утром 11 сентября Майкл был клиентщиком, через 2 часа его жизнь перевернулась

Esquire
Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах

10 самых распространенных мифов об электронных устройствах

Maxim
Самцов кальмаров заподозрили в заботе о потомстве Самцов кальмаров заподозрили в заботе о потомстве

Самцы кальмаров заинтересовались условиями, в которых будет расти их потомство

N+1
Топ-5 самых неочевидных способов обмана при продаже авто Топ-5 самых неочевидных способов обмана при продаже авто

На что стоит обращать внимание неопытным водителям при покупке авто?

Maxim
Дома, которые строит Ким Дома, которые строит Ким

Почему французские боссы так доверяют британскому дизайнеру Киму Джонсу

Robb Report
Сотрудничество без развития: почему не получается взаимодействие России и ОЭСР Сотрудничество без развития: почему не получается взаимодействие России и ОЭСР

Как Россия могла бы все же получить пользу от контактов с ОЭСР

Forbes
Пышная свадьба и генетика: 10 факторов, увеличивающих вероятность развода Пышная свадьба и генетика: 10 факторов, увеличивающих вероятность развода

Какие факторы увеличивают риск того, что брак не продержится долго

Cosmopolitan
Почему мы раздражаемся и как с этим справляться? Почему мы раздражаемся и как с этим справляться?

Случаются дни, когда раздражает все: партнер, коллеги, дети…

Psychologies
Сидячие захоронения из Волго-Уралья датировали финалом средней бронзы Сидячие захоронения из Волго-Уралья датировали финалом средней бронзы

Погребения Волго-Уральского региона оставили представители лолинской культуры

N+1
Полезная рутина Полезная рутина

Как привычки формируются и почему становятся зависимостями

N+1
Город контактов Город контактов

Как Женева становилась домом для всех — от сентименталистов до революционеров

Weekend
Удивительные сексуальные нравы Галантного века во Франции Удивительные сексуальные нравы Галантного века во Франции

Версальский двор — это главные затейники науки любви XVIII века

Maxim
Авангард с огоньком Авангард с огоньком

Игорь Гулин об успешной попытке по-новому осветить раннесоветскую культуру

Weekend
«Телевизор» и «дом с глобусом»: история здания ТАСС «Телевизор» и «дом с глобусом»: история здания ТАСС

Как разрабатывали проект здания ТАСС

Культура.РФ
Детские теории. Как флуоресценция животных обнаружила неспособность ученых выдвигать здравые гипотезы Детские теории. Как флуоресценция животных обнаружила неспособность ученых выдвигать здравые гипотезы

Способность к флуоресценции обнаружена у очередного вида животных — ос-полист

СНОБ
Илон Маск дал один простой совет по управлению сотрудникам Tesla. Тем, кто ему не последует, грозит увольнение Илон Маск дал один простой совет по управлению сотрудникам Tesla. Тем, кто ему не последует, грозит увольнение

Коммуникация — это ключ к быстрому решению проблем в большой компании

Inc.
«Мне было 4». Женщина рассказала, что ее насиловали в детстве, спустя 25 лет «Мне было 4». Женщина рассказала, что ее насиловали в детстве, спустя 25 лет

Келли Фелстед рассказала, что подвергалась насилию со стороны друга семьи

Cosmopolitan
Лишения с рождения: что запрещено есть королевским детям Лишения с рождения: что запрещено есть королевским детям

Что и как едят королевские дети?

Cosmopolitan
Продюсер. Ярослав Андреев Продюсер. Ярослав Андреев

Создатель первого отечественного TikTok-дома Ярослав Андреев

GQ
Соджорнер Трут: из рабыни — в активистки черного феминизма XIX века Соджорнер Трут: из рабыни — в активистки черного феминизма XIX века

Не умея читать и писать, она стала одной из первых темнокожих феминисток

Forbes
Как похудеть легко? 8 трюков, чтобы снизить аппетит Как похудеть легко? 8 трюков, чтобы снизить аппетит

Как обуздать свой аппетит

9 месяцев
Аэропорт и интернет: 5 городов, которые развиваются благодаря онлайн-сервисам и авиасообщению Аэропорт и интернет: 5 городов, которые развиваются благодаря онлайн-сервисам и авиасообщению

Можно жить и работать где угодно, лишь бы в этой точке на земле был интернет

Популярная механика
Алкогений: Стивен Кинг Алкогений: Стивен Кинг

Стивен Кинг провел пятнадцать лет своей жизни в режиме чудовища

Maxim
Татьяна Борзых: Татьяна Борзых:

Ваня Бортник — это был человек редкой породы и верности

Коллекция. Караван историй
Шикарная Виктория Бекхэм: дразнящие фото певицы, дизайнера и светской львицы Шикарная Виктория Бекхэм: дразнящие фото певицы, дизайнера и светской львицы

Фотографии Виктории Бекхэм и история жизни Пош из Spice Girls.

Playboy
Помадный татуаж: вид перманента, который держится на губах максимально долго Помадный татуаж: вид перманента, который держится на губах максимально долго

Татуаж в помадной технике – абсолютная имитация «живого» мейкапа

Cosmopolitan
Сделала пластику и жалею: откровенные признания тех, кто решился на операцию Сделала пластику и жалею: откровенные признания тех, кто решился на операцию

Порой желаемая пластическая операция не приносит долгожданного результата

Cosmopolitan
Тимоти Шаламе и Дени Вильнев о «Дюне», страхах и первом знакомстве Тимоти Шаламе и Дени Вильнев о «Дюне», страхах и первом знакомстве

Тимоти Шаламе и Дени Вильнев встретились с Cosmo

Cosmopolitan
9 вопросов, которые улучшат вашу сексуальную жизнь 9 вопросов, которые улучшат вашу сексуальную жизнь

О чем следует спросить, чтобы ваш секс стал лучше?

Psychologies
Открыть в приложении