Робот отлично играет в настольный теннис, но «человеческая» у него только рука
Специалисты подразделения Sony AI представили робота Ace, способного на равных конкурировать с профессиональными игроками в настольный теннис. Исследователи разработали систему, которая использует продвинутые алгоритмы обучения с подкреплением и сеть из девяти камер для достижения высокого уровня игры в физическом мире
Методика обучения. Важным аспектом успеха Ace является применение метода reinforcement learning (обучение с подкреплением) в виртуальной симуляции перед выходом на реальный корт. Робот сначала «проживает» миллионы игровых ситуаций в цифровой среде, где за каждое успешное действие система получает виртуальное вознаграждение. Это позволяет за считанные часы накопить опыт, на который у человека уходят годы тренировок. Основная сложность заключалась в переносе этих навыков из симуляции в реальный мир, где действуют законы трения, сопротивления воздуха и несовершенства механики, что в науке называют проблемой «sim-to-real gap». Именно точная калибровка камер и учет физических свойств мяча позволили преодолеть этот барьер.
Инженеры компании Sony поставили перед собой амбициозную задачу: создать машину, способную противостоять элитным спортсменам в динамичной и непредсказуемой среде. Роботизированная рука Ace оснащена восемью суставами, обеспечивающими высокую степень свободы движений. Это позволяет устройству не только молниеносно реагировать на удары противника, но и исполнять сложные технические элементы.