Как Иван Пупырев разработал технологию Soli

ForbesHi-Tech

«Мне говорили, что это никогда не будет работать»: как российский инженер Google научил телефон понимать жесты

Ирина Юзбекова

mg_6963-2-1.jpg__1573649342__99631.jpg
Фото ivanpoupyrev.com

Российский инженер Иван Пупырев в 2014 году начал работать над технологией Soli, которая спустя пять лет позволила Google выпустить первый в мире смартфон, понимающий взмахи рук пользователя — Pixel 4. Forbes поговорил с изобретателем о проблемах, с которыми столкнулись создатели смартфона, о новых проектах российского изобретателя и сложностях в работе с талантливыми людьми.

15 октября 2019 года компания Google презентовала свои новые продукты, в том числе показала следующую версию своего смартфона — Pixel 4. Новинка умеет распознавать пользователя по лицу под любым углом. Кроме того, устройство получило новую технологию — Motion Sense, которая позволяет ему понимать жесты пользователя. Рядом с камерой Pixel 4 расположился мини-радар, который понимает движения рук человека без прикосновения к экрану. Над его созданием в рамках проекта Soli, основанном на технологии радарного датчика, последние пять лет работал Иван Пупырев, руководитель проектов лаборатории Google Advanced Technology and Projects (ATAP), которая занимается нестандартными разработками.

До того, как прийти в Google, Пупырев, выпускник Московского авиационного института (МАИ), успел поработать с Disney и Sony. В Disney он создал 17 интерактивных технологий, часть из которых компания задействовала в своих парках аттракционов. Самая главная из них — Touché, которая позволяла распознавать прикосновения человека к предмету, растению или даже воде.

Работая в Sony, Пупырев еще до появления первого iPhone в 2007 году, предлагал выпустить мобильный телефон с сенсорным дисплеем, но в компании не поддержали эту идею, хотя Пупырев уверен, что японская корпорация могла опередить появление iPhone. Пупырев и его коллеги из Sony придумали другой проект — Gummi. Это небольшой дисплей, на котором для перемещения объектов можно водить пальцем по оборотной стороне устройства. Sony применила технологию задней сенсорной панели на игровой консоли PlayStation Vita, которую выпустила в 2011 году.

Forbes побеседовал с инженером о невербальном взаимодействии человека с техникой, привычке людей к кнопкам, «умных куртках» и «сумасшедших идеях», которые работают.

Чем отличаются технология Soli и датчик Motion Sense в смартфоне Pixel 4?

Motion Sense – это не другая технология, это та же самая Soli. С точки зрения брендинга Pixel 4 в Google решили назвать ее Motion Sense. В телефоне у нее более узкое применение: она должна распознавать взаимодействия пользователя с телефоном. Для того, чтобы пользователю было понятнее, что это за технология, ее назвали Motion Sense.

Какой функционал Soli задействован в смартфоне?

Само по себе технология может делать много вещей. Так как она новая и была создана с нуля, мы решили ограничить ее использование. Кроме того, мы столкнулись с большим количеством технических трудностей при ее внедрении.

Сейчас технология используется для распознавания человеческих действий. Философия применения Soli в интерфейсах состоит в том, что смартфон должен понимать, что вокруг него происходит и это не должно требовать от пользователя каких-то специальных действий. Это то, что мы называем невербальное взаимодействие — без использования голоса или кнопок. Мы заинтересованы в том, чтобы телефон был умный как человек, и понимал, что происходит вокруг, понимал контекст.

Сейчас, например, в нем есть функция, которая позволяет жестом убавить звук звонящего телефона. Можно жестом отключить звонок или будильник. Это очень удобно, потому что когда в семь утра звонит будильник и ты пытаешься проснуться, тебе не надо брать телефон и нажимать какую-то кнопку – ты просто протягиваешь руку и звук отключается сам.

В Pixel 4 есть также технология идентификации пользователя по лицу. Тут всегда возникает вопрос, когда должны включаться камеры распознавания. Если они работают все время, то у вашего телефона быстро сядет батарейка. Поэтому телефон должен распознавать «знаки», которые сигнализируют о том, что пользователь намеревается использовать эту функцию. Soli позволяет нашему телефону понимать намерения. Если Pixel 4 лежит на столе, а рука пользователя протягивается к нему, в этот момент камеры уже активируются и начинают работать еще до того, как владелец поднес телефон к лицу. Эта комбинация сенсоров ускоряет процесс, и сохраняет заряд батарейки.

Последняя функция состоит в том, что когда телефон лежит на столе, а вас рядом нет, то его дисплей выключается. А когда вы подходите к телефону, он снова включается.

Сенсор может делать гораздо больше, но все эти вещи — новые для пользователя. Поэтому мы бы хотели, чтобы пользователи привыкли к тому, что есть сейчас, а потом подумаем о расширении возможностей.

С какими сложностями вы столкнулись при внедрении Soli в Pixel 4?

Внедрение любой технологии, разработанной в лаборатории, в продукт — это долгий и тяжелый процесс. Когда вы работаете над исследованием, вам надо показать, что технология работает хотя бы один раз. Когда вы работаете над продуктом, нужно показать, что технология работает всегда. Вам нужно принять во внимание огромное количество ситуаций, при которых она не будет работать. Что происходит с Soli, когда человек роняет телефон, что происходит, когда другие сенсоры включены, есть ли какое-то ненужное взаимодействие между другими сенсорами и Soli? Ни у одной компании в мире нет опыта внедрения радара в мобильный телефон. Поэтому нет никакой документации на этот счет.

Поскольку индустрия мобильных телефонов уже довольно развитая, большое количество знаний о том, как делать телефон, находится на фабриках. У фабрик, которые делают телефоны, есть много наработанных производственных технологий. Но когда они получают новую технологию, они тоже не знают, что с ней делать. Им нужно выстраивать новую продуктовую линию, тренировать операторов на фабрике, определять возникающие проблемы, потому что они еще никогда не внедряли эту технологию. Нужно учитывать огромное количество деталей, потому что, когда ты выпускаешь миллион телефонов, маленькая деталь может повлиять на тысячи людей.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Маклай вернулся! Маклай вернулся!

Потомок знаменитого русского путешественника и этнографа повторил его путь

Огонёк
Одна и счастлива: что такое «партнерство с собой» Одна и счастлива: что такое «партнерство с собой»

Эмма Уотсон обозначила свой романтический статус как «партнерство с собой»

Psychologies
Время первых Время первых

Гонзо-репортаж от Мити Фомина из Северного ледовитого океана

Playboy
5 готовых сборок ПК для разных потребностей: работать, смотреть, играть... 5 готовых сборок ПК для разных потребностей: работать, смотреть, играть...

Компьютеры для самых разных задач, от банальной офисной работы до гейминга

CHIP
Сабина Ахмедова: «Я не смогу сыграть роль, если она мне будет неприятна» Сабина Ахмедова: «Я не смогу сыграть роль, если она мне будет неприятна»

Сабина Ахмедова о трудностях, своем первом опыте и о роли своей мечты

Cosmopolitan
Лиза Ко Лиза Ко

Фрагмент из первой главы романа «Беспокойные» Лизы Ко

Esquire
«Коллекционеры — люди с амбициями»: как стартап Smart Art зарабатывает на искусстве «Коллекционеры — люди с амбициями»: как стартап Smart Art зарабатывает на искусстве

За три года Smart Art провела 10 выставок молодых российских художников

Forbes
Базовый уход за телом: самомассаж в домашних условиях Базовый уход за телом: самомассаж в домашних условиях

Зачем тратить много денег на курс массажа, если можно сделать его дома самой

Cosmopolitan
Ева Грин: горячие фотографии и много интересных фактов о француженке Ева Грин: горячие фотографии и много интересных фактов о француженке

Роковая красотка, от которой сложно оторвать взгляд.

Playboy
«У нас правая рука не знает, что делает левая»: Борис Титов о силовиках, арестах бизнесменов и «больных» статьях «У нас правая рука не знает, что делает левая»: Борис Титов о силовиках, арестах бизнесменов и «больных» статьях

Борис Титов — о токсичных госинвестициях и о том, как скрывался за границей

Forbes
Интервью: художник Рагнар Кьяртанссон — о Михаиле Шуфутинском, Антоне Чехове и о том, почему Россия похожа на мемуары Казановы Интервью: художник Рагнар Кьяртанссон — о Михаиле Шуфутинском, Антоне Чехове и о том, почему Россия похожа на мемуары Казановы

Рагнар рассказывает, чем Исландия отличается от России

Esquire
Пять маленьких шагов к победе над прокрастинацией Пять маленьких шагов к победе над прокрастинацией

Как сделать первые шаги к победе над прокрастинацией

Psychologies
Один за всех Один за всех

Школьник из Улан-Удэ Даниил Поздняков снова пришел близким на помощь

StarHit
Инофизики и инолирики. Почему иностранных агентов становится все больше — и не только в России Инофизики и инолирики. Почему иностранных агентов становится все больше — и не только в России

Госдума продолжает отгораживать россиян от разлагающего влияния из-за рубежа

СНОБ
«Долина — ужасное место, Сан-Франциско — гнусный город»: Илья Осколков-Ценципер о том, как придумывать новые проекты «Долина — ужасное место, Сан-Франциско — гнусный город»: Илья Осколков-Ценципер о том, как придумывать новые проекты

Илья Осколков-Ценципер о том, как работает технология «придумывания» проектов

Forbes
Что такое HDMI? Сравниваем типы кабелей Что такое HDMI? Сравниваем типы кабелей

Что такое HDMI, чем различаются типы кабелей, и как работает эта технология?

CHIP
Глен Баллис: «Я возвращаюсь в Москву за куриным супом» Глен Баллис: «Я возвращаюсь в Москву за куриным супом»

Бренд-шеф Глен Баллис о своем характере, московском супе и китайских димсамах

GQ
Миллиардер, работающий 24 часа в сутки: как владелец Louis Vuitton создал состояние в $100 млрд Миллиардер, работающий 24 часа в сутки: как владелец Louis Vuitton создал состояние в $100 млрд

Как Бернару Арно удалось построить модную империю, ставшую символом роскоши

Forbes
Дружественные виды Дружественные виды

Вся жизнь — борьба, но есть в ней место и для сотрудничества

Вокруг света
Стратегия кукушки: почему владелец Louis Vuitton сделал ставку на средний класс Стратегия кукушки: почему владелец Louis Vuitton сделал ставку на средний класс

Богатейший человек Европы Бернар Арно заключил крупнейшую сделку в своей карьере

Forbes
Скорая эмоциональная помощь: как поддержать мужчину, а как женщину Скорая эмоциональная помощь: как поддержать мужчину, а как женщину

Как помочь человеку справиться с эмоциональной болью

Psychologies
Наталья Ветлицкая возвращается! Наталья Ветлицкая возвращается!

Кумир 90-х и первая красавица нашей эстрады возвращается!

StarHit
Шутки кончились: какую работу оставит человеку искусственный интеллект Шутки кончились: какую работу оставит человеку искусственный интеллект

Искусственный интеллект не лишит людей работы, а создаст новые рабочие места

Forbes
Наш долг перед Африкой: почему избыточное потребление стало постыдным Наш долг перед Африкой: почему избыточное потребление стало постыдным

Почему нужно несколько раз подумать, прежде чем купить себе новый iPhone

Forbes
Овощи по правилам Овощи по правилам

Как лучше приготовить самые полезные для фигуры продукты

Худеем правильно
Последний всплеск кредитного бума. Почему доля «плохих» долгов граждан снизилась до многолетнего минимума Последний всплеск кредитного бума. Почему доля «плохих» долгов граждан снизилась до многолетнего минимума

Государство периодически скупает собственные долги с неплохой скидкой

СНОБ
Правда в ногах: как работает эспандер для ног Правда в ногах: как работает эспандер для ног

Как тренировать ноги и ягодицы с помощью эспандера для ног

Cosmopolitan
Зачем крупные модные Дома сотрудничают со спортивными брендами Зачем крупные модные Дома сотрудничают со спортивными брендами

Несколько лет назад кроссовки стали новыми it-аксессуарами

GQ
Укротитель секущихся концов: коллаген для волос Укротитель секущихся концов: коллаген для волос

Разбираемся, какой формат коллагена для волос лучше выбрать

Cosmopolitan
Основы практической магии Основы практической магии

То, что делает с нами заветная дата, ничем, кроме магии, объяснить невозможно

Домашний Очаг
Открыть в приложении