Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

6 заболеваний кожи у собак, о которых должен знать каждый хозяин 6 заболеваний кожи у собак, о которых должен знать каждый хозяин

Какие проблемы с кожей встречаются у собак?

Популярная механика
Разрыв шаблона Разрыв шаблона

Крокодилы оказались птицами, а киты — родственниками лошадей

Вокруг света
ИИ научился создавать реалистичные спутниковые снимки будущих наводнений ИИ научился создавать реалистичные спутниковые снимки будущих наводнений

Ученые разработали метод, который генерирует «снимки» будущих наводнений

ТехИнсайдер
10 правил для первого секса с новым партнером 10 правил для первого секса с новым партнером

Первый секс с новым любовником всегда волнителен

Psychologies
Думай медленно… решай быстро Думай медленно… решай быстро

Как устроено человеческое мышление

kiozk originals
Правила жизни Гарри Бардина Правила жизни Гарри Бардина

Правила жизни советского мультипликатора Гарри Бардина

Esquire
Все об УЗИ: 8 важных вопросов Все об УЗИ: 8 важных вопросов

Что нужно знать об УЗИ и как к нему правильно готовиться?

Лиза
«Муж начал рыдать на моих родах, и мне пришлось его выгнать из палаты» «Муж начал рыдать на моих родах, и мне пришлось его выгнать из палаты»

Иногда успокаивать приходится вовсе не рожениц, а будущих отцов

Psychologies
На Сулавеси впервые обнаружили останки Homo sapiens эпохи плейстоцена На Сулавеси впервые обнаружили останки Homo sapiens эпохи плейстоцена

Археологи обнаружили на Сулавеси останки человека современного типа

N+1
Российские археологи обнаружили погребение знатного воина черняховской культуры Российские археологи обнаружили погребение знатного воина черняховской культуры

Российские археологи обнаружили редкую находку черняховской культуры

N+1
Быть в балансе: простые правила питания для снижения сердечно-сосудистого риска Быть в балансе: простые правила питания для снижения сердечно-сосудистого риска

Здоровые пищевые привычки, которые снизят вес и нормализуют давление

Inc.
Атмосферное электричество — часть среды нашего обитания Атмосферное электричество — часть среды нашего обитания

Электричество атмосферного пограничного слоя — давний предмет познания

Наука и жизнь
5 типичных для России вещей, которые сложно объяснить иностранцу 5 типичных для России вещей, которые сложно объяснить иностранцу

Что русскому хорошо, то немцу непонятно

Maxim
«Кинотавр-2021»: сериалы фестиваля, которые вам точно стоит посмотреть «Кинотавр-2021»: сериалы фестиваля, которые вам точно стоит посмотреть

Истории о добродушных майорах, безжалостных убийцах и непутевых министрах

GQ
От Дюрера до Матисса От Дюрера до Матисса

Краткий экскурс в историю европейского рисунка XV–XX веков

Культура.РФ
5 блестящих фактов о волосах 5 блестящих фактов о волосах

Узнай, какие секреты скрывает твоя шевелюра

Maxim
«Он никогда не строил из себя героя». Экскурсия Льва Лурье по адресам Довлатова в Петербурге «Он никогда не строил из себя героя». Экскурсия Льва Лурье по адресам Довлатова в Петербурге

Лев Лурье провел экскурсию по адресам Довлатова в Ленинграде

СНОБ
Еда будущего: как и что мы будем есть завтра Еда будущего: как и что мы будем есть завтра

Как изменится наше питание

GQ
Прививка от прыщей: неужели это реальность? Прививка от прыщей: неужели это реальность?

Дерматологи разработали вакцину, которая решит все кожные проблемы

Cosmopolitan
Райские кущи Райские кущи

Дизайнеры оформили клубный дом гольф-клуба “Раево” в традициях старой Америки

AD
Топ-5 самых сексуальных злодеек в видеоиграх Топ-5 самых сексуальных злодеек в видеоиграх

Рассказываем об антагонистках, которым хочется сдаться в плен

Maxim
Довлатов как он был. Фрагмент книги «Сергей Довлатов. Фотографии. Очерки и воспоминания» Марка Сермана Довлатов как он был. Фрагмент книги «Сергей Довлатов. Фотографии. Очерки и воспоминания» Марка Сермана

Фотографии и тексты Марка Сермана о Сергее Довлатове

Esquire
Как скрыть шрамы, родинки и раны: остроумные тату реальных людей Как скрыть шрамы, родинки и раны: остроумные тату реальных людей

Тату, которые не просто скрыли несовершенства, а превратили их в изюминку

Cosmopolitan
Рэперы, которые загубили свою карьеру Рэперы, которые загубили свою карьеру

«…и, покинув людей, я ушел в тишину, как мечта одинок, я как рэпер живу».

GQ
Юность сенсея Юность сенсея

Как Marvel осваивает боевые искусства

Weekend
Как устроен замок и сколько стоит его построить? Как устроен замок и сколько стоит его построить?

Поговорим о тонкостях постройки замков

Популярная механика
Обсуждение: нанимать разработчиков теперь ещё сложнее и дороже — на рынок пришли иностранные компании Обсуждение: нанимать разработчиков теперь ещё сложнее и дороже — на рынок пришли иностранные компании

Скоро закроется много неэффективных компаний

VC.RU
«Остались одни. Единственный вид людей на земле» «Остались одни. Единственный вид людей на земле»

Как новые методы датирования перевернули наши представления об эволюции человека

N+1
Про-явление Про-явление

Спасение Богоявленской церкви в селе Яконово

Seasons of life
«Роскосмос» круче Илона Маска. Объясняем почему «Роскосмос» круче Илона Маска. Объясняем почему

Запомните этот твит: «Роскосмос» жив. «Роскосмос» круче Илона Маска

Inc.
Открыть в приложении