Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему мы так плохо помним наше детство? Почему мы так плохо помним наше детство?

Почему у большинства людей нет никаких воспоминаний о первых 3-4 годах жизни

Популярная механика
Урс лепки Урс лепки

Урс Фишер, «Большой глиной № 4», автор отвечает на наболевшие вопросы

Harper's Bazaar
Бойтесь писем начальников: как социальную инженерию используют для взлома данных Бойтесь писем начальников: как социальную инженерию используют для взлома данных

Как компании могут защитить сотрудников и свою репутацию от взлома данных

Forbes
Смотрите-ка, звезда! Смотрите-ка, звезда!

Певица Лиза Монеточка о своих преподавателях и учебе в школе

Домашний Очаг
Как понимать картины в музее: простые советы от искусствоведа Как понимать картины в музее: простые советы от искусствоведа

Как правильно воспринимать произведения искусства?

Psychologies
Восемь поводов для сожалений после 35 лет Восемь поводов для сожалений после 35 лет

О чем вы часто жалеете?

Psychologies
Дизель генератор Дизель генератор

Вин Дизель: Жизнь на высоких оборотах

Men’s Health
С чемоданом по жизни: 7 увлекательных книг о путешествиях и путешественниках С чемоданом по жизни: 7 увлекательных книг о путешествиях и путешественниках

Книги про подлинные путешествия

Популярная механика
Закон Гаусса помог ограничить число магнитных монополей на Земле Закон Гаусса помог ограничить число магнитных монополей на Земле

Физики попытались вычислить магнитный заряд всей Земли

N+1
«Остались одни. Единственный вид людей на земле» «Остались одни. Единственный вид людей на земле»

Как новые методы датирования перевернули наши представления об эволюции человека

N+1
Посадка советских космонавтов в США посреди холодной войны Посадка советских космонавтов в США посреди холодной войны

Куда садились космические корабли времен СССР?

Популярная механика
Не опаснее домашнего: чем реально можно заразиться в общественном туалете Не опаснее домашнего: чем реально можно заразиться в общественном туалете

Нужно ли избегать посещения общественных туалетов?

Cosmopolitan
Одомашнивание: новый цикл Одомашнивание: новый цикл

До конца нынешнего десятилетия произойдет очередная революция

Популярная механика
“Теперь меня никто не тронет” “Теперь меня никто не тронет”

Что подтолкнуло нашу героиню пойти в монахини и о чем она жалеет?

Psychologies
«Ребенок способный, но невнимательный»: как исправить ситуацию «Ребенок способный, но невнимательный»: как исправить ситуацию

В чем причины невнимательности ребенка и как ему помочь?

Psychologies
От флоатинга до сапбординга От флоатинга до сапбординга

Самые эффективные способы борьбы со стрессом

Лиза
От «Коралины» до «Американских богов»: лучшие книги Нила Геймана От «Коралины» до «Американских богов»: лучшие книги Нила Геймана

Подборка популярных книг фантаста Нила Геймана

Playboy
Ирбитский блюз: история легендарного советского мотоцикла «Урал» Ирбитский блюз: история легендарного советского мотоцикла «Урал»

«Урал» — пожалуй, главное имя советского мотопрома

Вокруг света
Здесь будет город заложён Здесь будет город заложён

Есть ли рациональное зерно в восточных мегапроектах и насколько они реализуемы?

Эксперт
Электрический УАЗ едет на экспорт Электрический УАЗ едет на экспорт

Этот УАЗ хотят заполучить в свои автопарки клиенты из Великобритании и Германии

Эксперт
Дипфейк: будущее порно — будущее интернета Дипфейк: будущее порно — будущее интернета

Искусственный интеллект меняет секс-индустрию — и не в лучшую сторону

СНОБ
Семь детективных историй из практики британского нейропсихиатра. Отрывок из книги Семь детективных историй из практики британского нейропсихиатра. Отрывок из книги

Глава из книги «Глядя в бездну. Заметки нейропсихиатра о душевных расстройствах»

СНОБ
Археологи нашли на Ямале останки людей с заведенными за таз руками и сжатыми кулаками Археологи нашли на Ямале останки людей с заведенными за таз руками и сжатыми кулаками

Ученые нашли останки двух людей с заведенными за таз руками и сжатыми кулаками

N+1
В мире детства В мире детства

Делимся с нашими читателями беспроигрышными способами развлечь ребенка

Лиза
Тонкости исцеления Тонкости исцеления

Что облегчит восстановление после измены и поможет открыть дверь в новую жизнь?

Psychologies
Недельные отпуска «чтобы не увольняться» не помогают, а только усиливают стресс сотрудников Недельные отпуска «чтобы не увольняться» не помогают, а только усиливают стресс сотрудников

Как справляться с выгоранием сотрудников?

VC.RU
Почему талибы не откажутся от казней? Рассказывает боевик Почему талибы не откажутся от казней? Рассказывает боевик

Талибы возвращаются к одной из самых жестоких тактик прошлого

Maxim
Чем опасны энергетики и можно ли пить их без вреда для здоровья Чем опасны энергетики и можно ли пить их без вреда для здоровья

Что в составе энергетиков, и выясняем, как справляться без них

РБК
MAXIM посмотрел новый фильм «Дюна» и забыл, что книга лучше MAXIM посмотрел новый фильм «Дюна» и забыл, что книга лучше

Можно прекратить грызть кактус и закопать видеокассету с «Дюной» Дэвида Линча

Maxim
6 причин полюбить горький шоколад 6 причин полюбить горький шоколад

После этой статьи вы перейдёте на сторону горького шоколада

Популярная механика
Открыть в приложении