Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Никогда не поздно: как найти свое призвание и решиться на смену профессии Никогда не поздно: как найти свое призвание и решиться на смену профессии

Менять профессию, искать себя и учиться новому никогда не поздно!

ТехИнсайдер
Киригами-манипулятор поднимет груз в 16000 раз тяжелее себя Киригами-манипулятор поднимет груз в 16000 раз тяжелее себя

Американские инженеры создали простой и недорогой киригами-манипулятор

N+1
Как узнать, как вы записаны в телефоне у другого человека. 2 приложения и 3 способа Как узнать, как вы записаны в телефоне у другого человека. 2 приложения и 3 способа

Легально ли узнавать, как вы записаны в телефоне у другого человека?

Цифровой океан
Эмоциональное выгорание: 5 признаков — проверьте себя Эмоциональное выгорание: 5 признаков — проверьте себя

Нет желания вставать на работу. Как понять, пора ли что-то менять в своей жизни?

Psychologies
Приход Антихриста, Апокалипсис и город живых мертвецов. Почему юмор Гоголя должен пугать Приход Антихриста, Апокалипсис и город живых мертвецов. Почему юмор Гоголя должен пугать

В чем Гоголь опередил Кафку и Камю и почему его юмор должен вызывать ужас

СНОБ
«Мне нужно побыть одному»: как найти время для себя, если вы в отношениях «Мне нужно побыть одному»: как найти время для себя, если вы в отношениях

Как не потерять индивидуальность в отношениях и выкроить время для себя

Psychologies
Неочевидный гид по Сочи: где остановиться и что посмотреть Неочевидный гид по Сочи: где остановиться и что посмотреть

Не самые очевидные развлечения в Сочи и окрестностях

Forbes
Исследование: 4000 шагов в день достаточно для того, чтобы снизить риск ранней смерти Исследование: 4000 шагов в день достаточно для того, чтобы снизить риск ранней смерти

Сколько нужно ходить в день?

ТехИнсайдер
В чем польза и вред шпината для организма В чем польза и вред шпината для организма

Шпинат может улучшить зрение и замедлить процесс повреждения клеток

РБК
«Румынские мифы. От вырколаков и фараонок до Мумы Пэдурий и Дракулы» «Румынские мифы. От вырколаков и фараонок до Мумы Пэдурий и Дракулы»

Как заполучить и использовать корень мандрагоры

N+1
«Пернатые многоженцы: Любовь, браки, измены и разводы в мире птиц» «Пернатые многоженцы: Любовь, браки, измены и разводы в мире птиц»

Как птицы сближаются и ухаживают друг за другом?

N+1
Чтобы спасти Землю от потепления, ее можно спрятать под зонтиком, прицепленным к астероиду Чтобы спасти Землю от потепления, ее можно спрятать под зонтиком, прицепленным к астероиду

Можно ли помочь Земле справиться с потеплением с помощью солнечного зонтика?

ТехИнсайдер
Свеклосахарный оптимизм Свеклосахарный оптимизм

Производство сахара и доходность в сезоне 2023/24 могут быть на высоких уровнях

Агроинвестор
Вместо магнитиков. Какие сувениры могут украсить интерьер? Вместо магнитиков. Какие сувениры могут украсить интерьер?

Как выбрать сувенир, чтобы он смог добавить индивидуальности интерьеру?

Лиза
Разнообразие аллелей в главном комплексе гистосовместимости европейских земледельцев возросло в течение неолита Разнообразие аллелей в главном комплексе гистосовместимости европейских земледельцев возросло в течение неолита

У земледельцев эпохи позднего неолита, увеличилось разнообразие аллелей

N+1
Что умеет нейросеть «Сбера» GigaChat Что умеет нейросеть «Сбера» GigaChat

«Сбер» запустил свой аналог ChatGPT — нейросеть GigaChat. Что она умеет?

СНОБ
Как траурные дронго защищаются от вторжений паразитирующих кукушек Как траурные дронго защищаются от вторжений паразитирующих кукушек

Изменчивость расцветки яиц помогает дронго вычислить подброшенные чужие яйца

ТехИнсайдер
Idris & Leos: «Всё превратится в эстраду» Idris & Leos: «Всё превратится в эстраду»

Idris & Leos рассказали о том, почему не любят, когда про них пишут в интернете

ЖАРА Magazine
Как женщины борются со стереотипами о внешности и возрасте на рабочем месте Как женщины борются со стереотипами о внешности и возрасте на рабочем месте

Как стюардессы каждый день сталкиваются с дискриминацией по внешности и возрасту

Forbes
Что делать, если ты влюбилась в своего психотерапевта (или он в тебя) Что делать, если ты влюбилась в своего психотерапевта (или он в тебя)

Влюбленность – самый распространенный побочный эффект психотерапии

VOICE
Деньги на чужом успехе: как заработать на готовом арендном бизнесе и что это такое Деньги на чужом успехе: как заработать на готовом арендном бизнесе и что это такое

Арендаторы почувствовали свою власть и навязывают невыгодные условия

Forbes
«Бомбардировка начнется через пять минут»: как Рейган почти развязал ядерную войну «Бомбардировка начнется через пять минут»: как Рейган почти развязал ядерную войну

11 августа 1984 года Рональд Рейган пошутил так, что чуть не развязал войну

Maxim
Мифы о ножах, в которые мы верим благодаря фильмам Мифы о ножах, в которые мы верим благодаря фильмам

Почему нож нельзя метать и держать его в зубах?

Maxim
Cекреты идеального гриля Cекреты идеального гриля

Кулинарными секретами для обеда на природе поделился итальянский шеф-повар

Лиза
Театр одного Муссолини Театр одного Муссолини

Бенито Муссолини занял пост премьер-министра Италии после «похода на Рим»

Дилетант
Как организовать процесс развода, чтобы сохранить психологическое здоровье детей? Как организовать процесс развода, чтобы сохранить психологическое здоровье детей?

Как помочь ребенку пережить развод и смягчить нагрузку на психику

VOICE
Как выглядит древнейший человек, чей геном удалось секвенировать: 45 000 лет в пещере Как выглядит древнейший человек, чей геном удалось секвенировать: 45 000 лет в пещере

Исследователи создали приближенное изображение женщины возрастом 45 000 лет

ТехИнсайдер
Остросюжетные триллеры и немного балета: пять новых сериалов, которые стоит увидеть Остросюжетные триллеры и немного балета: пять новых сериалов, которые стоит увидеть

На какие сериалы стоит обратить внимание?

Forbes
Рождение псковского корпуса Рождение псковского корпуса

В 1918 году в Пскове и Петрограде находились группы офицеров Императорской армии

Дилетант
Все китайские производители смартфонов: кто есть кто Все китайские производители смартфонов: кто есть кто

Китайские производители смартфонов, которые бросают вызов "акулам" рынка

CHIP
Открыть в приложении