Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему мы так плохо помним наше детство? Почему мы так плохо помним наше детство?

Почему у большинства людей нет никаких воспоминаний о первых 3-4 годах жизни

Популярная механика
6 конспирологических теорий о катастрофах 11 сентября 2001 года 6 конспирологических теорий о катастрофах 11 сентября 2001 года

Мифы вокруг теракта 11 сентября в США

Популярная механика
VisionLabs внедрила систему распознавания дипфейков в банках четырех стран VisionLabs внедрила систему распознавания дипфейков в банках четырех стран

VisionLabs внедрил систему обнаружения дипфейков в банки России

Forbes
Откажите себе в удовольствие Откажите себе в удовольствие

Правила вежливого отказа

GQ
Интроверты​​​​ Интроверты​​​​

Как использовать особенности своего характера

kiozk originals
Самые дурацкие афродизиаки в истории человечества Самые дурацкие афродизиаки в истории человечества

Безумные афродизиаки. Ведь чем страннее, тем волшебнее

Maxim
Самцов кальмаров заподозрили в заботе о потомстве Самцов кальмаров заподозрили в заботе о потомстве

Самцы кальмаров заинтересовались условиями, в которых будет расти их потомство

N+1
Паркет повсюду Паркет повсюду

Особенности деревянных полов для влажных помещений

Идеи Вашего Дома
Теория запаха Теория запаха

Зачем в парфюмерных лабораториях изучают влияние ароматов на мозг

Glamour
Опытным путем Опытным путем

Что из западного опыта в образовании мы могли бы использовать в России

Домашний Очаг
Российские археологи обнаружили погребение знатного воина черняховской культуры Российские археологи обнаружили погребение знатного воина черняховской культуры

Российские археологи обнаружили редкую находку черняховской культуры

N+1
Через Вселенную Через Вселенную

Посетить иные миры и звездные системы — что может быть увлекательнее!

Вокруг света
Деньги за деньги: как платить управляющему капиталом Деньги за деньги: как платить управляющему капиталом

Есть доход — возьмите свой кусочек пирога, нет — ничего вам не положено

Forbes
Неэффективный менеджер: пять черт характера, которые выдают плохого руководителя Неэффективный менеджер: пять черт характера, которые выдают плохого руководителя

Пять качеств, которые выдают плохого руководителя

Inc.
Страшная авария и неверный муж: две главные трагедии Фриды Кало Страшная авария и неверный муж: две главные трагедии Фриды Кало

По сути история жизни Фриды Кало — это история одной большой боли

Cosmopolitan
Настройки яркости Настройки яркости

Что нужно делать родителям, чтобы их ребенок стал талантливым?

Harper's Bazaar
Как не стать частью ботнета: советы по защите роутеров от специалистов по безопасности Infosec, Qrator Labs и «Р-Техно» Как не стать частью ботнета: советы по защите роутеров от специалистов по безопасности Infosec, Qrator Labs и «Р-Техно»

Частью ботнета может стать каждый, а его жертвой — сервер любой компании

VC.RU
Как преодолеть языковый барьер и заговорить на иностранном, как на родном Как преодолеть языковый барьер и заговорить на иностранном, как на родном

Откуда берется «языковая тревожность» и как ее побороть

Psychologies
Сделала пластику и жалею: откровенные признания тех, кто решился на операцию Сделала пластику и жалею: откровенные признания тех, кто решился на операцию

Порой желаемая пластическая операция не приносит долгожданного результата

Cosmopolitan
Тайна проклятого хлеба: как целый город за несколько дней сошел с ума Тайна проклятого хлеба: как целый город за несколько дней сошел с ума

На эту деревню обрушилось горе, которое французы называют «проклятым хлебом»

VOICE
8 неизвестных сериалов по книгам Агаты Кристи 8 неизвестных сериалов по книгам Агаты Кристи

Достойные многосерийные сериалы, снятые по книгам «королевы детектива»

Psychologies
Тихие омуты Тихие омуты

Инновации в унитазах: чем подкупает вариант с инсталляцией

Идеи Вашего Дома
Гротескный рай для раскаявшегося чекиста: «Капитан Волконогов бежал», предположительно, лучший российский фильм года Гротескный рай для раскаявшегося чекиста: «Капитан Волконогов бежал», предположительно, лучший российский фильм года

Драма о том, как капитан НКВД пытается вымолить прощение у одной из своих жертв

Esquire
6 привычек, которые вредят отношениям 6 привычек, которые вредят отношениям

Возможно, пора изменить что-то в себе, чтобы и отношения изменились к лучшему?

Psychologies
Синдром чемодана без ручки: 4 дурацкие причины сохранять отношения Синдром чемодана без ручки: 4 дурацкие причины сохранять отношения

А тебе знакомы какие-то из этих оправданий для отношений?

Cosmopolitan
MAXIM посмотрел новый фильм «Дюна» и забыл, что книга лучше MAXIM посмотрел новый фильм «Дюна» и забыл, что книга лучше

Можно прекратить грызть кактус и закопать видеокассету с «Дюной» Дэвида Линча

Maxim
Сцены из супружеской жизни Сцены из супружеской жизни

Как быть, если ребенок присутствует при ссоре?

Лиза
Голубика: польза и вред, советы нутрициолога Голубика: польза и вред, советы нутрициолога

Голубика — настоящий суперфуд

РБК
Отношения в семье по дате рождения: можно ли «починить» брак Отношения в семье по дате рождения: можно ли «починить» брак

Как дата рождения влияет на семейные отношения?

Cosmopolitan
Лишения с рождения: что запрещено есть королевским детям Лишения с рождения: что запрещено есть королевским детям

Что и как едят королевские дети?

Cosmopolitan
Открыть в приложении