Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как поддержать здоровье костей и сохранить костную массу с возрастом Как поддержать здоровье костей и сохранить костную массу с возрастом

Как поддержать высокую плотность костной ткани в организме?

Популярная механика
На пути к На пути к

Ученые сделали еще один шаг к сверхпроводникам

Популярная механика
Почему мир заговорил о белом водороде: новый источник чистой энергии Почему мир заговорил о белом водороде: новый источник чистой энергии

Белый водород — новый уникальный источник энергии?

ТехИнсайдер
Российские биологи определили механизм спаривания половых хромосом птиц Российские биологи определили механизм спаривания половых хромосом птиц

Механизмы объединения половых хромосом оказали схожими для девяти видов птиц

N+1
Список уловок телефонных мошенников: разбираем самые частые способы обмана Список уловок телефонных мошенников: разбираем самые частые способы обмана

Список из самых распространенных атак телефонных мошенников

Maxim
Полоски, пятна, странный цвет: 7 проблем со здоровьем, о которых говорят ногти Полоски, пятна, странный цвет: 7 проблем со здоровьем, о которых говорят ногти

Вид ногтей может рассказать о твоем здоровье куда больше, чем принято считать

Cosmopolitan
Imagine Джона Леннона как отражение главных идей Конфуция. Отрывок из книги Imagine Джона Леннона как отражение главных идей Конфуция. Отрывок из книги

Чему стоит поучиться у Марка Аврелия, Руссо, Ницше и других мыслителей

СНОБ
Почему у птиц нет зубов Почему у птиц нет зубов

Как птицы потеряли зубы

Популярная механика
Загадочные Загадочные

В океанах Австралии обитает поразительное разнообразие живых существ

Популярная механика
Что посмотреть и попробовать в Дагестане. Гид «РБК Стиль» Что посмотреть и попробовать в Дагестане. Гид «РБК Стиль»

Дагестан — аулы-призраки, горные реки, живописные водохранилища

РБК
Ставка на метавселенную: можно ли на ней заработать Ставка на метавселенную: можно ли на ней заработать

Метавселенная станет следующей версией интернета

Forbes
Отражение времени Отражение времени

Самые травматичные beauty-воспоминаниями – брови ниточкой и татуаж губ

Harper's Bazaar
Костюм для фремена Костюм для фремена

Можно ли сделать дистикомб, как в «Дюне»?

N+1
Предел функции Предел функции

Многоуровневый функциональный интерьер в духе конструктивистских ячеек XX века

AD
«Муж взял с меня обещание, что после его смерти я останусь одинокой» «Муж взял с меня обещание, что после его смерти я останусь одинокой»

Муж потребовал обета безбрачия — не выходить замуж после его смерти

Psychologies
В организме больных Эболой нашли вирус пятилетней давности В организме больных Эболой нашли вирус пятилетней давности

Эболавирусы способны храниться в теле человека годами и вызывать новые вспышки

N+1
Кит Харингтон: «Я ужасно боялся рождения сына» Кит Харингтон: «Я ужасно боялся рождения сына»

Кит Харингтон: жизнь — «штука с закавыкой»

Psychologies
«Я и Брэдли очень строгие»: Ирина Шейк о воспитании 4-летней дочери от Купера «Я и Брэдли очень строгие»: Ирина Шейк о воспитании 4-летней дочери от Купера

Ирина Шейк рассказала об отношениях с бывшим возлюбленным и их ребенком

Cosmopolitan
Школа в СССР и сейчас. Мы нашли 8 радикальных отличий Школа в СССР и сейчас. Мы нашли 8 радикальных отличий

Что было в школе СССР в сравнении с тем, что есть сейчас

Maxim
Новенькие из XO Team Новенькие из XO Team

Новые тиктокеры из XO Team

ЖАРА Magazine
Невечный покой Невечный покой

Истории людей, переживших клиническую смерть

Psychologies
Как перестать бояться летать на самолете: 7 способов избавиться от аэрофобии Как перестать бояться летать на самолете: 7 способов избавиться от аэрофобии

Что вызывает страх полетов и как победить боязнь перед путешествием по небу

Playboy
4 веские причины, почему каждый бизнесмен должен освоить тайм-менеджмент 4 веские причины, почему каждый бизнесмен должен освоить тайм-менеджмент

Ты удивишься, насколько может помочь навык управления временем

Playboy
20 простых способов позаботиться о себе 20 простых способов позаботиться о себе

Проявить нежность к себе проще, чем кажется

Psychologies
На Украине раскопали остатки жилища возрастом более 30 тысяч лет На Украине раскопали остатки жилища возрастом более 30 тысяч лет

Археологи нашли древнейшее сооружение в степной зоне Восточной Европы

N+1
Ромовая баба: история и королевский рецепт Ромовая баба: история и королевский рецепт

История ромовой бабы

Вокруг света
Почему работать на одном месте больше трёх лет нормально Почему работать на одном месте больше трёх лет нормально

Причины, по которым абсолютно нормально работать много лет на одном месте

Популярная механика
В бирманском янтаре обнаружили паучиху с яйцевым коконом и паучат В бирманском янтаре обнаружили паучиху с яйцевым коконом и паучат

Ученые обнаружили древнейшее свидетельство заботы пауков о потомстве

N+1
Метаанализ заставил медиков усомниться во вреде насыщенных жирных кислот Метаанализ заставил медиков усомниться во вреде насыщенных жирных кислот

Высокие уровни насыщенных жирных кислот связаны с уменьшением риска смерти

N+1
Остров-сад Остров-сад

Нило-Столобенская пустыня

Seasons of life
Открыть в приложении