Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как ученые отправляют послания иным цивилизациям и сколько нам ждать ответа? Как ученые отправляют послания иным цивилизациям и сколько нам ждать ответа?

METI — попытки передачи межзвездных посланий

Популярная механика
Почему у человека нет хвоста? Ответ генетиков Почему у человека нет хвоста? Ответ генетиков

У человека и человекообразных обезьян нет хвоста. Почему?

Популярная механика
Миниатюрный орнитоптер стал одноногим прыгуном Миниатюрный орнитоптер стал одноногим прыгуном

Как инженеры создали робота-прыгуна массой меньше грамма

N+1
Feduk — о новом альбоме, синдроме самозванца, праве на отказ и фридайвинге Feduk — о новом альбоме, синдроме самозванца, праве на отказ и фридайвинге

Feduk — о творчестве, «синдроме самозванца» и мировом соглашение с Элджеем

Esquire
Простой способ повысить психологическую устойчивость и настроиться на позитив Простой способ повысить психологическую устойчивость и настроиться на позитив

Одно упражнение для поддержания психологической устойчивости

Inc.
Советский абьюз Советский абьюз

«Общага» Романа Васьянова, драма о смене эпох

Weekend
Без маски. Игорь Свинаренко: «Тайна исповеди» Без маски. Игорь Свинаренко: «Тайна исповеди»

Новая книга журналиста Игоря Свинаренко рассказывает о XX веке.

СНОБ
5 компанейских пород кошек, больше похожих на собак 5 компанейских пород кошек, больше похожих на собак

Оказывается, среди кошек есть настоящие друзья человека

Maxim
Право голоса Право голоса

Почему кино взяло курс на дайверсити?

Vogue
9 вопросов, которые улучшат вашу сексуальную жизнь 9 вопросов, которые улучшат вашу сексуальную жизнь

О чем следует спросить, чтобы ваш секс стал лучше?

Psychologies
«Я приняла нелюбовь отца»: путь от травмы к согласию с собой «Я приняла нелюбовь отца»: путь от травмы к согласию с собой

Наша героиня рассказывает, как у нее получилось унять главную боль детства

Psychologies
Как самостоятельно сделать фотографию для паспорта и других документов Как самостоятельно сделать фотографию для паспорта и других документов

Как сделать фото для документов самостоятельно

CHIP
А я не согласна! А я не согласна!

В каких ситуация стоит спорить с начальством, а в каких разумнее промолчать?

Лиза
Рука для Терминатора: как создаются манипуляторы для российских андроидов Рука для Терминатора: как создаются манипуляторы для российских андроидов

Промобот: Как происходит разработка руд для российских андроидов

Популярная механика
Ваши отношения с едой Ваши отношения с едой

Как вы обращаетесь с едой и как привести отношения к гармонии?

Домашний Очаг
Гормон-шило Гормон-шило

Новые открытия о нашем главном гормоне – тестостероне

Maxim
Maruv: «Я должна нравиться себе в зеркале» Maruv: «Я должна нравиться себе в зеркале»

Maruv — о стрип-дэнсе, упрямстве и любви к шелковым халатам

Cosmopolitan
“Рекордов не надо, это просто дети!” “Рекордов не надо, это просто дети!”

Музыка может многому научить и нас, и наших детей

Psychologies
Похитители тел Похитители тел

Из цикла произведений неизвестных авторов – «Похитители тел» Дмитрия Волкова

Esquire
Дом искусства Дом искусства

Исторический палаццо во Флоренции, наполненный предметами искусства

SALON-Interior
Маленькое розовое платье: каким получился хоррор «Прошлой ночью в Сохо» Маленькое розовое платье: каким получился хоррор «Прошлой ночью в Сохо»

«Прошлой ночью в Сохо» — хоррор о моде, 1960-х и путешествиях во времени

РБК
Лицо с экрана. Антон Лапенко Лицо с экрана. Антон Лапенко

Комик Антон Лапенко превращается в полноценную кинозвезду

GQ
Доказанные правила долголетия: принимать холодный душ, дружить и отказаться от алкоголя Доказанные правила долголетия: принимать холодный душ, дружить и отказаться от алкоголя

Сотни лет люди заняты поиском тех самых "молодильных яблочек"

Популярная механика
Первый раз в первый класс: как всей семье адаптироваться к новой жизни Первый раз в первый класс: как всей семье адаптироваться к новой жизни

Когда ребенок впервые идет в школу — это стресс и перемены для него и родителей

Psychologies
Электоральные уроки-2021: кто проведет работу над ошибками? Электоральные уроки-2021: кто проведет работу над ошибками?

Что вскрыли выборы в Государственную думу?

СНОБ
Подросшие дочери ткачиковых воробьев помогли подтвердить гипотезу альтруистической подстраховки Подросшие дочери ткачиковых воробьев помогли подтвердить гипотезу альтруистической подстраховки

Помощники-самки помогают взрослым парам вырастить птенцов в засушливые годы

N+1
Замок из песка. В Венеции показали «Дюну» Дени Вильнева Замок из песка. В Венеции показали «Дюну» Дени Вильнева

Фантастический фильм Дени Вильнева оказался жертвой завышенных ожиданий

РБК
«Кости: внутри и снаружи» «Кости: внутри и снаружи»

Отрывок из книги хирурга-ортопеда Роя Миллза «Кости: внутри и снаружи»

N+1
Клубеньковые бактерии помогли доннику расти в модельном марсианском грунте Клубеньковые бактерии помогли доннику расти в модельном марсианском грунте

Способность клубеньковых бактерий формировать симбиоз с донником лекарственным

N+1
В организме больных Эболой нашли вирус пятилетней давности В организме больных Эболой нашли вирус пятилетней давности

Эболавирусы способны храниться в теле человека годами и вызывать новые вспышки

N+1
Открыть в приложении