Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Абузусная головная боль: симптомы, причины и методы лечения Абузусная головная боль: симптомы, причины и методы лечения

Может ли головная боль стать сильнее, если пытаться её уменьшить?

ТехИнсайдер
Москва и москвички Москва и москвички

«Жизнь по вызову. Док»: якобы исследование столичной секс-индустрии

Weekend
Крюки на ногах позволили роботу ANYmal вскарабкаться по приставной лестнице Крюки на ногах позволили роботу ANYmal вскарабкаться по приставной лестнице

Скорость подъема ANYmal в 232 раза превосходит результаты других роботов

N+1
Глава из книги Александра Кушнира «Аквариум: геометрия хаоса» к юбилею группы Глава из книги Александра Кушнира «Аквариум: геометрия хаоса» к юбилею группы

Книга продюсера Александра Кушнира об истории и творчестве  «Аквариума»

Правила жизни
10 ситуаций, когда человеку нужен не психолог, а психиатр 10 ситуаций, когда человеку нужен не психолог, а психиатр

Как распознать, когда именно пора обратиться к психиатру?

Psychologies
Где родился, там и пригодился: хорошая ли идея, долгое время работать в одной компании? Где родился, там и пригодился: хорошая ли идея, долгое время работать в одной компании?

Однако можно ли считать 10 лет в одной компании большим опытом?

ТехИнсайдер
Колоссальный кит из Перу оспорил у синего кита титул самого тяжелого животного в истории Колоссальный кит из Перу оспорил у синего кита титул самого тяжелого животного в истории

Perucetus colossus был тяжелее синего кита

N+1
«Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика «Особняк на колесах»: как устроена жизнь внутри двухэтажного люкс-грузовика

Дом на колесах Elemment Palazzo Superior поразит самого привередливого туриста

ТехИнсайдер
Смерть любимого, потеря ребенка, вражда с Дарьей Мороз: сложная жизнь Виктории Исаковой Смерть любимого, потеря ребенка, вражда с Дарьей Мороз: сложная жизнь Виктории Исаковой

В жизни Виктории Исаковой были свои трагедии

VOICE
Мужской взгляд на воспитание: как стать хорошим отцом Мужской взгляд на воспитание: как стать хорошим отцом

С какими вызовами сталкиваются современные папы и как их преодолевать?

Psychologies
Начальникам на заметку! Как вести себя с подчиненными, чтобы стимулировать персональный рост Начальникам на заметку! Как вести себя с подчиненными, чтобы стимулировать персональный рост

Существует ли универсальный способ для вдохновения других людей?

ТехИнсайдер
Я же тебе говорила! Я же тебе говорила!

Фразы в воспитании, от которых вреда больше, чем пользы

Лиза
Очищенную воду можно получить прямо из тумана Очищенную воду можно получить прямо из тумана

Разработан метод, позволяющий собирать воду из тумана и одновременно очищать ее

ТехИнсайдер
Археологи впервые обнаружили сухопутный участок пути «из варяг в греки» Археологи впервые обнаружили сухопутный участок пути «из варяг в греки»

1100-летнюю дорогу нашли в Смоленской области, она используется и по сей день

N+1
Король Прусский Фридрих Вильгельм III с сыновьями благодарит Москву за спасение его государства Король Прусский Фридрих Вильгельм III с сыновьями благодарит Москву за спасение его государства

В 1818 году Фридрих Вильгельм III вместе со своими сыновьями приехал в Россию

Дилетант
«Смерть очень странная»: родные Светланы Джимбиновой боятся, что три ее квартиры в Москве достанутся черным риелторам «Смерть очень странная»: родные Светланы Джимбиновой боятся, что три ее квартиры в Москве достанутся черным риелторам

Родные Светланы Джимбиновой хотят прояснить вопрос с имуществом

VOICE
Рой шестиколесных грузовых платформ перевезет почти 40 тонн груза Рой шестиколесных грузовых платформ перевезет почти 40 тонн груза

Ученые разработали систему для транспортировки тяжелых крупногабаритных грузов

N+1
«Она меня и близко не подпустит»: как женщины мешают мужчинам быть хорошими отцами «Она меня и близко не подпустит»: как женщины мешают мужчинам быть хорошими отцами

Глава из книги Тобиаса Морштедта «Плохие хорошие отцы»

Psychologies
Деньги на чужом успехе: как заработать на готовом арендном бизнесе и что это такое Деньги на чужом успехе: как заработать на готовом арендном бизнесе и что это такое

Арендаторы почувствовали свою власть и навязывают невыгодные условия

Forbes
Новая молекула придает полимерам свойства металлов: будущее 3D-печати Новая молекула придает полимерам свойства металлов: будущее 3D-печати

Эта новая молекула может увеличить долговечность множества вещей

ТехИнсайдер
Лучшие друзья — это репликанты: 10 фильмов об отношениях людей с роботами Лучшие друзья — это репликанты: 10 фильмов об отношениях людей с роботами

Мы собрали 10 фильмов об отношениях людей с ИИ

Правила жизни
Робот учится так браться за инструмент, чтобы можно было его использовать Робот учится так браться за инструмент, чтобы можно было его использовать

Ученые улучшили способность роботизированной руки манипулировать объектами

ТехИнсайдер
Глава «Либо/Либо» Лика Кремер о том, почему подкасты нужны даже в очень сложное время Глава «Либо/Либо» Лика Кремер о том, почему подкасты нужны даже в очень сложное время

Почему подкасты оказались так востребованы в момент, когда весь мир рушится

Forbes
Как сделать ремонт и не сойти с ума: 6 полезных правил Как сделать ремонт и не сойти с ума: 6 полезных правил

Как же сделать ремонт так, чтобы все прошло быстро и без нервов

VOICE
Стоит ли покупать пальчиковые аккумуляторы АА? Стоит ли покупать пальчиковые аккумуляторы АА?

Когда стоит купить пальчиковые аккумуляторы, а когда лучше обойтись?

CHIP
Ученые назвали новый стандарт «пустоты»: абсолютный вакуум Ученые назвали новый стандарт «пустоты»: абсолютный вакуум

NIST утвердил процесс для нового способа достичь «подлинного ничто»

ТехИнсайдер
Путь к мозгу лежит через микробиом Путь к мозгу лежит через микробиом

Бактерии, живущие внутри нас, изучаются как полноценный человеческий орган

Эксперт
7 живописных малых городов России 7 живописных малых городов России

Если вы ищете провинциальный колорит, стоит включить эти города в свои маршруты

Караван историй
12 фильмов Венецианского кинофестиваля 12 фильмов Венецианского кинофестиваля

Старейший в мире Венецианский кинофестиваль в этом году проводится в 80-й раз

Weekend
Дни и ночи стрелецких казней Дни и ночи стрелецких казней

Следствие по делу стрельцов сопровождалось невиданными пытками и расправами

Дилетант
Открыть в приложении