Нейросети дадут роботам трехмерное зрение
Исследовательская группа из Стэнфордского университета представила новый пакет программного обеспечения с открытым исходным кодом для обучения роботов трехмерному зрению. Роботы, снабженные этим пакетом, получают информацию от своих датчиков и строят трехмерное изображение в реальном времени. Робот обходит и буквально разглядывает объект. И понимает его все лучше.
Роботы учатся. Теперь процесс обучения не завершается в лаборатории. Он выходит (или вылетает) на улицу вместе с роботом.
Нейронные излучающие поля (Neural radiance fields - NeRFs) - это передовые методы машинного обучения, которые могут генерировать трехмерные (3D) представления объектов или среды на основе двумерных (2D) изображений. Они очень нужны в робототехнике. Но возникла проблема.
Большинство существующих наборов данных и платформ для обучения NeRF в робототехнике не используется: система работает так, что сначала она должна завершить обучение, а потом уже - сможет увидеть. Грубо говоря, надо обойти объект со всех сторон, а потом нейронная сетка NeRF построит 3D-изображение. Для робота это не годится. Ему нужно представить трехмерную форму объекта еще до того, как он этот объект всесторонне исследует. Вот если бы метод позволял строить и перестраивать 3D-изображение по мере того, как робот узнает в реальном времени об объекте