Что кроется за понятием общения для робота, рассказали инженеры

Популярная механикаHi-Tech

Я слышу голоса: общительный массив для дружелюбного робота

Компания Promobot

Самая главная формула успеха – умение общаться с людьми, любил повторять небезызвестный Теодор Рузвельт. В случае робота эта формула принимает критическое значение, ведь без способности к общению робот превращается в обычный, пусть и высокотехнологичный механизм. Что кроется за понятием общения для робота, рассказали инженеры компании «Промобот» Валерий Титов и Владислав Сазонов. И как выяснилось, пара «микрофон-динамик» здесь устарела ещё в прошлом веке, а найти подходящую «голову» практически невозможно.

Для людей слышать и понимать речь собеседника - обыденное дело. Человек слышит, человек отвечает. Но когда речь заходит о том, чтобы нас услышал и понял не человек, а робот, начинаются проблемы. Общение с роботом может проходить в сложных условиях: множество источников шума, несколько одновременно говорящих с разных сторон людей. Обычные микрофоны могут реагировать даже на речь самого робота.

В своей жизни человек даже не замечает, насколько сложен процесс общения с технической точки зрения. Чтобы научить роботов «Промобота» общаться, нам пришлось найти идеальные уши, рот и главное - научить их правильно работать.

«Хонда» для российского робота

Для идеального слуха роботу требуется две вещи: хорошие уши и надежная голова, способная понять, что же уловили уши. Решением вполне может стать аппаратно-программный комплекс на базе микрофонного массива.

С набором микрофонов всё просто: на корпусе робота их можно разместить там, где требуется. С программным обеспечением всё значительно сложнее. Дело в том, что работая с ушами, голова должна как минимум:

  • вырезать в услышанном речь робота;
  • очистить звук от шума;
  • определить, есть ли в услышанном и очищенном речь;
  • определить источник речи;
  • сформировать луч (по английски эта процедура называется beamforming), чтобы усилить исходный звуковой сигнал от источника;
  • распознать речь в звуковой дорожке после всех манипуляций.

Как правило, последний шаг выносится за пределы зоны ответственности микрофонного массива.

2d8e8f77f8d368eb6c00e2cffae50b93.jpg

Готовых решений на мировом рынке оказалось не так много. Наиболее перспективной нам показалась совместная разработка Японского исследовательского института Хонды и Киотского университета под названием HARK (Honda research institute Japan Audition for Robots with Kyoto university).

fcbb8549de0635ab33b54e956020e205.jpg

HARK изначально проектировалась для роботов, работающих в антропоморфной среде, где требуется услышать и разобрать команды от человека. Это ПО с открытым кодом можно было связать с Robot Operating System (ROS), процесс обработки звука с микрофонов легко настраивался. Дополнительным преимуществом стала заявленная возможность одновременного определения нескольких источников звука. Казалось, это то, что нам нужно! Японцы настолько очаровали нас своей разработкой, что мы скоропостижно перестали искать альтернативу.

Смертельные миллиметры звука

Для первых тестов в 2014 году мы использовали микрофонный массив RASP LC на 8 микрофонах. Четыре располагались на центральной части груди корпуса робота, вокруг экрана; три - на верхней части груди, ближе к шее; и один - сзади по центру, у основания шеи. Уже после первого теста мы выявили две проблемы критического уровня: вибрация и сложность расчётов.

89dca29813daca49524d1349e942bcec.jpg

Дело в том, что робот сам по себе – это механизм с огромным количеством движущихся деталей. И каждое движение создавало так называемые наводки на микрофон – фоновый шум, требующий постоянного анализа.

Вторая проблема заключалась в обработке полученных аудиоданных. Разработчики HARK заложили два принципиально разных подхода аналитики аудиопотоков. Первый назван геометрическим и сводится к точному (до десятых долей миллиметра) описанию расположения микрофонов в пространстве с учетом их направлений. Второй, без специального названия, опирается на калибровочную модель. Её создают путем многократной записи через массив одной и той же записи с разных точек пространства вокруг массива.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что почитать в день «Звездных вoйн»: 3 отличных книги о далекой галактике Что почитать в день «Звездных вoйн»: 3 отличных книги о далекой галактике

Книги, которые помогут вспомнить вам, за что вы любите «Звездные вoйны»

Популярная механика
15 вещей, которые девушки не делают принципиально 15 вещей, которые девушки не делают принципиально

Негласный кодекс поведения с мужчинами, которого придерживаются девушки

Maxim
Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный Как приручить маркетинг и использовать его на все 100: объясняет эксперт Дмитрий Бескромный

Как развить свой продукт с помощью digital-маркетинга

VOICE
«Маска» в Березниках, или Спектакль для самого искреннего зрителя «Маска» в Березниках, или Спектакль для самого искреннего зрителя

Новой точкой в географии фестиваля «Золотая Маска» стали Березники

СНОБ
Возможно, вы взвешиваетесь неверно: несколько правил от ученых Возможно, вы взвешиваетесь неверно: несколько правил от ученых

Как понять свой истинный вес и взвеситься правильно?

ТехИнсайдер
Актер. Иван Янковский Актер. Иван Янковский

Как внук Олега Янковского на глазах превращается в актера Ивана Янковского

GQ
Избранные моменты из скандального интервью Дмитрия Гордона и Моргенштерна Избранные моменты из скандального интервью Дмитрия Гордона и Моргенштерна

Лучшие цитаты из удивительной беседы Гордона и Моргенштерна

Maxim
Почему талибы не откажутся от казней? Рассказывает боевик Почему талибы не откажутся от казней? Рассказывает боевик

Талибы возвращаются к одной из самых жестоких тактик прошлого

Maxim
Эволюция женской груди: от палеолитической Венеры до наших дней Эволюция женской груди: от палеолитической Венеры до наших дней

Предлагаем тебе взглянуть на историю человечества с этого ракурса!

Maxim
Предсказал будущее интернета в 90-ых и пропал, когда его прогнозы стали сбываться: история Филипа Агре Предсказал будущее интернета в 90-ых и пропал, когда его прогнозы стали сбываться: история Филипа Агре

Филип Агре рассказал об опасности сбора данных ещё до запуска Google и Amazon

VC.RU
Обычный родитель, обычный ребенок Обычный родитель, обычный ребенок

Мама восьмилетнего мальчика и главный редактор издания об образовании

Домашний Очаг
Скромность не украшает. Тест-драйв Audi RS Q8 Скромность не украшает. Тест-драйв Audi RS Q8

Что вы получите, купив Audi RS Q8

РБК
Насколько полезен шиповник: мнение эксперта Насколько полезен шиповник: мнение эксперта

Шиповник — это не только красивые цветы, но и полезные плоды

РБК
В погребении унетицкой культуры нашли младенца с бронзовым браслетом В погребении унетицкой культуры нашли младенца с бронзовым браслетом

Археологи изучили погребение младенца эпохи унетицкой культуры

N+1
Строительство дворца в Древней Корее начали с человеческих жертвоприношений Строительство дворца в Древней Корее начали с человеческих жертвоприношений

Перед строительством крупных объектов в Корее совершались жертвоприношения

N+1
«Меня едва не убило счастье»: как я оказалась на грани, несмотря на благополучие «Меня едва не убило счастье»: как я оказалась на грани, несмотря на благополучие

Внешнее благополучие не гарант душевного спокойствия: история Ники

Cosmopolitan
Палеонтологи обнаружили на юго-западе Испании ясли древних слонов Палеонтологи обнаружили на юго-западе Испании ясли древних слонов

Палеонтологи обнаружили многочисленные окаменевшие следы прямобивневых слонов

N+1
Секс, класс, деньги, чувства, и снова секс: каким получился третий роман автора Секс, класс, деньги, чувства, и снова секс: каким получился третий роман автора

Салли Руни опять написала роман, где красивые люди много занимаются сексом

Esquire
Подросшие дочери ткачиковых воробьев помогли подтвердить гипотезу альтруистической подстраховки Подросшие дочери ткачиковых воробьев помогли подтвердить гипотезу альтруистической подстраховки

Помощники-самки помогают взрослым парам вырастить птенцов в засушливые годы

N+1
Магия больших денег Магия больших денег

Как Александр Коноплястый и Михаил Салонтаи основали компанию Flashpoint

Robb Report
Большая чистка: как Голливуд переваривает культуру отмены Большая чистка: как Голливуд переваривает культуру отмены

«Культура отмены», или бойкот публичной персоны

РБК
Cексуальные особенности разных стран мира Cексуальные особенности разных стран мира

Наконец-то ты можешь выбрать страну для путешествия по самому главному принципу

Maxim
Как научить ребенка ценить вещи Как научить ребенка ценить вещи

Что делать, если твой ребенок не знает цену вещам

Maxim
Фильмы-матрешки: смотрим картины о причудливом мире кино Фильмы-матрешки: смотрим картины о причудливом мире кино

Фильмы, внутри которых разворачиваются съемки: от вестерна до трагедии

GQ
С кем женщины категории MILF предпочитают заниматься сексом? С кем женщины категории MILF предпочитают заниматься сексом?

Почему «Пум» становится все больше и как мы к этому относимся?

Maxim
Разница во времени Разница во времени

Если один из партнеров заметно старше, жди скандала

Cosmopolitan
«Роскосмос» круче Илона Маска. Объясняем почему «Роскосмос» круче Илона Маска. Объясняем почему

Запомните этот твит: «Роскосмос» жив. «Роскосмос» круче Илона Маска

Inc.
Боевой характер Боевой характер

Дмитрий Мазепин 25 лет воюет за влияние, активы и репутацию

Forbes
В древнеегипетском городе Буто нашли коллекцию ритуальных предметов VII–VI веков до нашей эры В древнеегипетском городе Буто нашли коллекцию ритуальных предметов VII–VI веков до нашей эры

Археологи обнаружили предметы, связанные с культом богини Хатхор

N+1
Личный опыт: как выстроить культуру в компании и избежать текучки Личный опыт: как выстроить культуру в компании и избежать текучки

Как корпоративная культура помогает нам развивать продукт небольшой командой

Inc.
Открыть в приложении