Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как передвинуть маяк с места на место? Как передвинуть маяк с места на место?

Чтобы спасти маяк, группа инженеров и рабочих бросила вызов силам природы

Популярная механика
Китайские археологи раскопали в Саньсиндуе шесть жертвенных ям Китайские археологи раскопали в Саньсиндуе шесть жертвенных ям

Китайские археологи нашли гигантскую ритуальную маску

N+1
Код руды: как оптимизировать измельчение руды с помощью искусственного интеллекта Код руды: как оптимизировать измельчение руды с помощью искусственного интеллекта

Какие цифровые инструменты используются при измельчении руд

ТехИнсайдер
Актер. Иван Янковский Актер. Иван Янковский

Как внук Олега Янковского на глазах превращается в актера Ивана Янковского

GQ
Как нас обманывает Disney: чем на самом деле заканчиваются популярные детские сказки Как нас обманывает Disney: чем на самом деле заканчиваются популярные детские сказки

Почти у каждой сказки, которую вы читали в детстве, есть версия 18+...

ТехИнсайдер
Как стилист Зендеи и Селин Дион стал звездой Венецианского кинофестиваля Как стилист Зендеи и Селин Дион стал звездой Венецианского кинофестиваля

Что нужно знать о сером кардинале красных дорожек Лоу Роуче

РБК
7 мужских способов справиться с осенней хандрой 7 мужских способов справиться с осенней хандрой

Врачи советуют, как справиться с сезонной депрессией

Maxim
Знаки зодиака, которым тяжелее всего построить отношения, - кто они? Знаки зодиака, которым тяжелее всего построить отношения, - кто они?

Какие знаки зодиака испытывают в сфере отношений серьезные затруднения

Cosmopolitan
«Он никогда не строил из себя героя». Экскурсия Льва Лурье по адресам Довлатова в Петербурге «Он никогда не строил из себя героя». Экскурсия Льва Лурье по адресам Довлатова в Петербурге

Лев Лурье провел экскурсию по адресам Довлатова в Ленинграде

СНОБ
Северокавказская пленница Северокавказская пленница

«Разжимая кулаки» Киры Коваленко – лучший фильм каннского «Особого взгляда»

Weekend
Дмитрий Крымов: «Своими словами». Режиссерские экземпляры 9 спектаклей, записанные до того, как они были поставлены Дмитрий Крымов: «Своими словами». Режиссерские экземпляры 9 спектаклей, записанные до того, как они были поставлены

С чего начинается спектакль? Рассказывает Дмитрий Крымов в своей книге

СНОБ
Красота требует жертв? 8 неприятных, но очень эффективных бьюти-процедур Красота требует жертв? 8 неприятных, но очень эффективных бьюти-процедур

Ради идеальной внешности девушки готовы терпеть настоящую боль

VOICE
Почему мы выгораем? Руководство по тому, как справиться со стрессом и работой одновременно Почему мы выгораем? Руководство по тому, как справиться со стрессом и работой одновременно

Как преодолеть первые симптомы выгорания и снова полюбить свою работу

Inc.
Недетские шалости: игрушки, которые сняли с производства Недетские шалости: игрушки, которые сняли с производства

По-настоящему страшные игрушки, которые уже не изготавливают

VOICE
«Увидимся в суде». Как ведутся дела о врачебной халатности и почему родственники умерших пациентов соглашаются на компенсации, не дожидаясь разбирательства «Увидимся в суде». Как ведутся дела о врачебной халатности и почему родственники умерших пациентов соглашаются на компенсации, не дожидаясь разбирательства

Отрывок из книги «Неидеальная медицина» о врачебных ошибках

СНОБ
Орёл и решка в Риме Орёл и решка в Риме

Коллекционные монеты стабильно растут в цене, вызывая интерес даже у ювелиров

Robb Report
Хотим их все! Колье из «Титаника» и другие шикарные украшения из фильмов Хотим их все! Колье из «Титаника» и другие шикарные украшения из фильмов

Это не просто украшения, это действующие лица, которые сыграли в фильмах

Cosmopolitan
«Я не твоя собственность»: можно ли избавиться от созависимости «Я не твоя собственность»: можно ли избавиться от созависимости

Почему люди остаются в нездоровых отношениях?

Psychologies
Израильские археологи раскопали в Рамат-ха-Шароне древности византийской и исламской эпох Израильские археологи раскопали в Рамат-ха-Шароне древности византийской и исламской эпох

Археологи раскопали древности византийского и исламского периодов

N+1
В Африке зафиксировали распространение устойчивого к лекарствам малярийного плазмодия В Африке зафиксировали распространение устойчивого к лекарствам малярийного плазмодия

Малярийный плазмодий встречается в Азии, но в Африке появился независимо

N+1
Как не стать частью ботнета: советы по защите роутеров от специалистов по безопасности Infosec, Qrator Labs и «Р-Техно» Как не стать частью ботнета: советы по защите роутеров от специалистов по безопасности Infosec, Qrator Labs и «Р-Техно»

Частью ботнета может стать каждый, а его жертвой — сервер любой компании

VC.RU
Соленый чай и Розовое озеро: зачем ехать в Калмыкию в любое время года Соленый чай и Розовое озеро: зачем ехать в Калмыкию в любое время года

Калмыкия — это бескрайние равнины и буддийское спокойствие

РБК
Взгляд сквозь дверь: лазер помог ученым заглянуть в запертую комнату Взгляд сквозь дверь: лазер помог ученым заглянуть в запертую комнату

Ученые научились заглядывать в запертые комнаты

Популярная механика
Никогда такого не было, и вот опять: как устроен ледокол «Виктор Черномырдин» Никогда такого не было, и вот опять: как устроен ледокол «Виктор Черномырдин»

Один из старейших ледоколов отправится на пенсию. Ему на смену уже вышел новый

Популярная механика
Английский зверобой: что такое «Шерман-Файрфлай» Английский зверобой: что такое «Шерман-Файрфлай»

Эта вспышка была последним, что видели немецкие танкисты

Maxim
8 лучших ролей Моники Белуччи 8 лучших ролей Моники Белуччи

Мы решили вспомнить лучшие роли Моники Белуччи

Maxim
«Делайте все медленно и вдумчиво»: как американка построила бренд стоимостью $87 млн благодаря простой заколке для волос «Делайте все медленно и вдумчиво»: как американка построила бренд стоимостью $87 млн благодаря простой заколке для волос

Основательница бьюти-бренда Kitsch — как сделать свой бизнес успешным

Inc.
Совсем запутались Совсем запутались

Праймеры, пасты, кремы, пудра – и все это для волос!

Лиза
Долго и счастливо: 7 правил выбора партнера на всю жизнь Долго и счастливо: 7 правил выбора партнера на всю жизнь

Как выбрать человека, с которым вы останетесь вместе навсегда?

Cosmopolitan
Не только Атлантида: удивительная история пяти затопленных городов Не только Атлантида: удивительная история пяти затопленных городов

Не Атлантида, но очень на нее похоже

Maxim
Открыть в приложении