Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

7 комнатных растений, которые не ядовиты для домашних животных: ваша кошка будет в безопасности 7 комнатных растений, которые не ядовиты для домашних животных: ваша кошка будет в безопасности

Расскажем о совершенно безопасных для питомцев растениях

Популярная механика
По следам суперпаводков Алтая По следам суперпаводков Алтая

Какая сила требовалась для того, чтобы создать огромные природные террасы?

Наука и жизнь
Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников Как Мэй Хабиб заработала $285 млн на ИИ-агентах, способных заменить 90% работников

Как Мэй Хабиб создает ПО на базе ИИ, которое берет на себя рутинные задачи

Forbes
Русский «Улисс»: каким получился фильм «Петровы в гриппе» Серебренникова Русский «Улисс»: каким получился фильм «Петровы в гриппе» Серебренникова

Критик Ярослав Забалуев делится впечатлениями о фильме «Петровы в гриппе»

РБК
«Средневековье в латах» «Средневековье в латах»

Как умирали и какие раны наносили друг другу средневековые воины

N+1
Секс лечит насморк, а борода нужна для защиты: все лаутераты Шнобелевской премии — 2021 Секс лечит насморк, а борода нужна для защиты: все лаутераты Шнобелевской премии — 2021

Ты мог бы прожить и без этих открытий, но разве это можно назвать жизнью?

Maxim
Робин Уильямс Робин Уильямс

Робину Уильямсу могло исполниться 70 лет

Playboy
Ариан Кальво: «Неудачи могут быть вдохновляющими и мотивирующими» Ариан Кальво: «Неудачи могут быть вдохновляющими и мотивирующими»

В нашем сознании упустить или не получить что-то означает, что мы неудачники

Здоровье
Кетоновая диета для женщин — меню на неделю Кетоновая диета для женщин — меню на неделю

Примерное меню кетоновой диеты на всю неделю для женщин

VOICE
Жизнь в розовом цвете Жизнь в розовом цвете

Стиль французской классики на современный лад

SALON-Interior
Витамины для кожи, волос и ногтей: как их правильно принимать Витамины для кожи, волос и ногтей: как их правильно принимать

Как витамины действуют на кожу, волосы и ногти

РБК
«Ребенок способный, но невнимательный»: как исправить ситуацию «Ребенок способный, но невнимательный»: как исправить ситуацию

В чем причины невнимательности ребенка и как ему помочь?

Psychologies
Топ-8 востребованных навыков программиста Топ-8 востребованных навыков программиста

Освоение новых навыков может реально повлиять на доход специалиста

Популярная механика
Нейросеть помогла обмануть систему распознавания лиц незаметным макияжем Нейросеть помогла обмануть систему распознавания лиц незаметным макияжем

Новый метод обмана систем распознавания лиц

N+1
За 100 лет до МММ: как рязанский банкир построил финансовую пирамиду в 19 веке и обманул вкладчиков на 12 млн рублей За 100 лет до МММ: как рязанский банкир построил финансовую пирамиду в 19 веке и обманул вкладчиков на 12 млн рублей

Как зародилась первая в России финансовая пирамида

VC.RU
5 особенностей уверенных в себе людей 5 особенностей уверенных в себе людей

Люди с высокой самооценкой сильно отличаются от тех, кто в себе не уверен

Psychologies
Каждый ребенок может стать автором своей жизни Каждый ребенок может стать автором своей жизни

Учителям зачастую не хватает веры в детей и в то, что они способны на большее

Домашний Очаг
Почему во рту появляется неприятный запах и как от него избавиться Почему во рту появляется неприятный запах и как от него избавиться

Галитоз, или запах изо рта — не приговор, избавиться от него можно

Популярная механика
Любовь мертва, да здравствует Tinder: как дейтинг портит нам жизнь Любовь мертва, да здравствует Tinder: как дейтинг портит нам жизнь

Вместо того чтобы помочь, приложения для знакомств убивают отношения

Cosmopolitan
10 советов, следуя которым вы будете обречены на богатство 10 советов, следуя которым вы будете обречены на богатство

10 советов, следуя которым вы будете обречены на успех

GQ
«Мона Лиза и кровавая луна» — самый дикий фильм Венецианского фестиваля. Это как «Очень странные дела», только для взрослых «Мона Лиза и кровавая луна» — самый дикий фильм Венецианского фестиваля. Это как «Очень странные дела», только для взрослых

«Мона Лиза и кровавая луна» — готовьтесь ко встрече с ведьмами и гопниками

Esquire
Фантастические организации, которые управляют развитием цивилизации Фантастические организации, которые управляют развитием цивилизации

Фантастические книги о могущественных организациях

Популярная механика
Трагедия в Перми: 21 сентября объявлено днем траура Трагедия в Перми: 21 сентября объявлено днем траура

Кем, предположительно, оказался стрелок в Перми, и каким был его мотив?

Psychologies
Актриса Лиза Янковская — о фамилии, мультивселенной и съемках «Пропавшей» Актриса Лиза Янковская — о фамилии, мультивселенной и съемках «Пропавшей»

Лиза Янковская не любит зум и самопробы, но обожает возможность не спешить

РБК
Ностальгия по лету: ироничные комиксы, в которых себя узнает каждая девушка Ностальгия по лету: ироничные комиксы, в которых себя узнает каждая девушка

Эпичные жизненные ситуации, с которыми сталкиваются девушки летом

Cosmopolitan
Почему космический полет Ричарда Брэнсона мог обернуться катастрофой Почему космический полет Ричарда Брэнсона мог обернуться катастрофой

Экипаж корабля Брэнсона через минуту после взлета получил сигнал об ошибке

GQ
Английский зверобой: что такое «Шерман-Файрфлай» Английский зверобой: что такое «Шерман-Файрфлай»

Эта вспышка была последним, что видели немецкие танкисты

Maxim
Сибирские арктические собаки скрестились со степными и научились пасти оленей Сибирские арктические собаки скрестились со степными и научились пасти оленей

Генетики исследовали происхождение ненецких лаек

N+1
Жил в пузыре, умер от рака: трагическая история мальчика без иммунитета Жил в пузыре, умер от рака: трагическая история мальчика без иммунитета

Дэвид Веттер прожил всего 12 лет, но его судьба оказала влияние на медицину

Cosmopolitan
Губки бантиком: какими были в детстве Джиджи Хадид,Ариана Гранде и другие звезды Губки бантиком: какими были в детстве Джиджи Хадид,Ариана Гранде и другие звезды

Они были нереально милыми малышками в раннем детстве

Cosmopolitan
Открыть в приложении