Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как работают современные российские ледоколы Как работают современные российские ледоколы

«кСромные размеры» — последнее, что приходит в голову при виде ледокола

Популярная механика
Секреты монтажного шва Секреты монтажного шва

На что обратить внимание при установке новых окон в квартире

Идеи Вашего Дома
Оригами-робота научили прижимать ноги и ходить по-крабьи Оригами-робота научили прижимать ноги и ходить по-крабьи

Инженер из Германии разработал четвероногого оригами-робота Fold Walker

N+1
Час пробил: актеры, которые долго прозябали в забвении, а потом как выстрелили! Час пробил: актеры, которые долго прозябали в забвении, а потом как выстрелили!

Актеры, которые долго и упорно работали прежде, чем «выстрелить»

Cosmopolitan
Эта привычка может повысить риск развития деменции на 43% Эта привычка может повысить риск развития деменции на 43%

Употребление большого количества сахара может повысить риск развития деменции

ТехИнсайдер
7 самых обязательных фильмов с Биллом Мюрреем, не считая «Дня Сурка» 7 самых обязательных фильмов с Биллом Мюрреем, не считая «Дня Сурка»

Мало кем смотренные фильмы с Биллом Мюрреем

Maxim
Девушки с обложки: культовые актрисы, которые начинали карьеру как модели Девушки с обложки: культовые актрисы, которые начинали карьеру как модели

Некоторые актрисы добились успеха в глянце, а затем начали сниматься в кино

VOICE
Воздушный шар на ниточке и краб-йети: посмотрите на самых пугающих существ, живущих на дне океана Воздушный шар на ниточке и краб-йети: посмотрите на самых пугающих существ, живущих на дне океана

Новые виды животных, поражающие воображение

ТехИнсайдер
Перл Соломоновна: как жена Молотова подарила женщинам СССР духи и пудру Перл Соломоновна: как жена Молотова подарила женщинам СССР духи и пудру

Неванильная жизнь женщины, благодаря которой появился аромат «Красная Москва»

Cosmopolitan
Детский сад. Как мотивировать и развивать педагогов, чтобы они не выгорали Детский сад. Как мотивировать и развивать педагогов, чтобы они не выгорали

Как обеспечить комфортную обстановку педагогам и почему это важно для детей

СНОБ
10 признаков несчастливых отношений 10 признаков несчастливых отношений

Как понять, что в отношениях нужно что-то менять?

Psychologies
Психосоматика и жир: о чем говорят «лишние» килограммы в области живота Психосоматика и жир: о чем говорят «лишние» килограммы в области живота

Как можно полюбить свое «несовершенство»?

Psychologies
Сидячее погребение под Барнаулом датировали эпохой мезолита Сидячее погребение под Барнаулом датировали эпохой мезолита

Ученые провели радиоуглеродный анализ останков из пригорода Барнаула

N+1
Без маски. Игорь Свинаренко: «Тайна исповеди» Без маски. Игорь Свинаренко: «Тайна исповеди»

Новая книга журналиста Игоря Свинаренко рассказывает о XX веке.

СНОБ
Английский зверобой: что такое «Шерман-Файрфлай» Английский зверобой: что такое «Шерман-Файрфлай»

Эта вспышка была последним, что видели немецкие танкисты

Maxim
«Лет ми спик фром май харт»: откуда в языке берется акцент «Лет ми спик фром май харт»: откуда в языке берется акцент

Что такое акцент?

Популярная механика
Орёл и решка в Риме Орёл и решка в Риме

Коллекционные монеты стабильно растут в цене, вызывая интерес даже у ювелиров

Robb Report
Палочка-выручалочка калибра 88 мм. История самой грозной немецкой пушки Палочка-выручалочка калибра 88 мм. История самой грозной немецкой пушки

Эта пушка лопала танки как воздушные шарики

Maxim
8 мифов о волосах, которые давно пора развенчать 8 мифов о волосах, которые давно пора развенчать

Горячая укладка - зло, волосы надо регулярно стричь - слышала? Всё это ерунда

Cosmopolitan
И снова 3 сентября. Чем запомнился этот день в автоиндустрии И снова 3 сентября. Чем запомнился этот день в автоиндустрии

Важные события в истории автопрома и транспорта, которые произошли 3 сентября

РБК
8 потрясающих приключений 8 потрясающих приключений

8 маршрутов, наполненных активными развлечениями и экстримом

Playboy
Как связаны лишний вес и коррупция: 10 лауреатов Шнобелевской премии-2021 Как связаны лишний вес и коррупция: 10 лауреатов Шнобелевской премии-2021

Спасет ли вас борода в пьяной драке? Можно ли лечить оргазмом насморк?

РБК
Песня про счастливого Песня про счастливого

Не более полутора минут – столько уйдет на чтение этого рассказа

Esquire
Их эксплуатируют компании, грабят воры и не защищает правительство: как живут 65 тысяч доставщиков еды в Нью-Йорке Их эксплуатируют компании, грабят воры и не защищает правительство: как живут 65 тысяч доставщиков еды в Нью-Йорке

Как доставщики справляются с грабителями и несправедливостью

VC.RU
«Лучше точно не будет». Как мы искали машину без наценок и не нашли «Лучше точно не будет». Как мы искали машину без наценок и не нашли

Что происходит с ценами на новые машины и когда все это закончится?

РБК
Выкинуть кости: как устроена Lost in Random и почему в нее стоит играть Выкинуть кости: как устроена Lost in Random и почему в нее стоит играть

Одно из самых сильных геймерских впечатлений последних лет

Esquire
Палеогенетики выяснили происхождение этрусков Палеогенетики выяснили происхождение этрусков

Этруски оказались генетически близки италикам

N+1
Котики и йога: 8 способов пережить разрыв с точки зрения науки Котики и йога: 8 способов пережить разрыв с точки зрения науки

Советы от ученых, которые помогут склеить разбитое сердце

Cosmopolitan
От Дюрера до Матисса От Дюрера до Матисса

Краткий экскурс в историю европейского рисунка XV–XX веков

Культура.РФ
Таша Карлюка: Океаны в трехлитровых банках Таша Карлюка: Океаны в трехлитровых банках

Отрывок из книги прозы Таши Карлюки: рассказы о любви

СНОБ
Открыть в приложении