Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Странный, но очень важный аспект: почему спринтеры начинают свой забег с низкого старта Странный, но очень важный аспект: почему спринтеры начинают свой забег с низкого старта

Каково преимущество низкого старта и почему его не используют марафонцы

ТехИнсайдер
«Дикая птица и культурный человек» «Дикая птица и культурный человек»

Гага обыкновенная и человек разумный: четырнадцать веков взаимоотношений

N+1
Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах Обновления нарочно ломают наши телефоны и еще 9 мифов о гаджетах

10 самых распространенных мифов об электронных устройствах

Maxim
Болливуд инвесторов: что происходит на фондовом рынке Индии и как на нем заработать Болливуд инвесторов: что происходит на фондовом рынке Индии и как на нем заработать

Чем индийская экономика привлекает инвесторов со всего мира

Forbes
Что такое духовность и как ее развивать: 6 способов Что такое духовность и как ее развивать: 6 способов

Кто может называть себя духовно богатой личностью?

Psychologies
Безусловная любовь: миф или реальность Безусловная любовь: миф или реальность

Гипнотерапевт раскрывает секреты безусловного принятия и любви

Psychologies
«Я дикий старовер. Я привыкаю — и всё» «Я дикий старовер. Я привыкаю — и всё»

Телеведущий, шоумен и актер Иван Чуйков обожает скорость

OK!
Плоский животик Плоский животик

Как делать вакуум живота и 5 причин, чтобы это попробовать

Лиза
Городская среда Городская среда

Дубай полностью соответствует канонам арабской сказки

Правила жизни
Гусеничный орнитоптер с пропеллерами сел на стену и поехал Гусеничный орнитоптер с пропеллерами сел на стену и поехал

Инженеры разработали прототип гибридного орнитоптера

N+1
12 овощей, которые помогают бороться со старением 12 овощей, которые помогают бороться со старением

Что нужно есть, чтобы оставаться продуктивными и энергичными

Psychologies
7 живописных малых городов России 7 живописных малых городов России

Если вы ищете провинциальный колорит, стоит включить эти города в свои маршруты

Караван историй
Корень резуховидки отличил верх от низа благодаря белку LAZY Корень резуховидки отличил верх от низа благодаря белку LAZY

Японские ученые отследили механизм работы белков семейства LAZY

N+1
5 неочевидных причин, вызывающих проблемы с эрекцией 5 неочевидных причин, вызывающих проблемы с эрекцией

Факторы, которые могут влиять на эрекцию

Maxim
Почему новый Land Cruiser добьётся успеха там, где потерпел неудачу FJ Cruiser Почему новый Land Cruiser добьётся успеха там, где потерпел неудачу FJ Cruiser

Почему FJ Cruiser потерпел неудачу?

4x4 Club
Что такое клетчатка, в чем ее польза и почему она нужна для похудения Что такое клетчатка, в чем ее польза и почему она нужна для похудения

Как клетчатка влияет на человеческий организм?

РБК
Как расширить память смартфона на Android Как расширить память смартфона на Android

Есть различные способы увеличить объем доступной в смартфоне памяти

ТехИнсайдер
Правила жизни Михаила «Горшка» Горшенева Правила жизни Михаила «Горшка» Горшенева

Понимаешь, да? Правила жизни одного из фронтменов «Короля и Шута»

Правила жизни
Зачем стюардессе топор: краткий ликбез по аварийно-спасательному оборудованию самолета Зачем стюардессе топор: краткий ликбез по аварийно-спасательному оборудованию самолета

Xто же именно находится на багажных полках самолетов?

ТехИнсайдер
2 эффективных способа защитить свои личные границы 2 эффективных способа защитить свои личные границы

Как сохранить уважение друг к другу и при этом не наступать на горло самому cебе

Psychologies
На языке оригинала: почему канадские и австралийские сериалы стали такими популярными На языке оригинала: почему канадские и австралийские сериалы стали такими популярными

На какие проекты из Австралии и Канады стоит обратить внимание

Forbes
Нравиться всем или себе? Находим золотую середину Нравиться всем или себе? Находим золотую середину

Как здраво оценивать себя?

VOICE
Исполнение и наказание Исполнение и наказание

Как Роберт Де Ниро и Мартин Скорсезе исследовали насилие, вину и бессилие

Weekend
Начальникам на заметку! Как вести себя с подчиненными, чтобы стимулировать персональный рост Начальникам на заметку! Как вести себя с подчиненными, чтобы стимулировать персональный рост

Существует ли универсальный способ для вдохновения других людей?

ТехИнсайдер
Эксперимент Muon g-2 измерил аномальный магнитный момент мюона с рекордной точностью Эксперимент Muon g-2 измерил аномальный магнитный момент мюона с рекордной точностью

Физики представили новые результаты эксперимента Muon g-2

N+1
Самая нетипичная футбольная звезда: Буффон прощается с футболом в 45 лет Самая нетипичная футбольная звезда: Буффон прощается с футболом в 45 лет

Удивительные истории из жизни итальянского Супермена

Forbes
Как отличить плохое настроение от клинической депрессии: 10 признаков Как отличить плохое настроение от клинической депрессии: 10 признаков

Клиническая депрессия у разных пациентов может проявляться по-разному

Psychologies
Чемодан без ручки: почему так сложно разорвать отношения, в которых вы несчастливы Чемодан без ручки: почему так сложно разорвать отношения, в которых вы несчастливы

Почему люди не расстаются и цепляются за своего партнера до последнего?

Psychologies
«Станьте исследователем»: как снова полюбить партнера после измены «Станьте исследователем»: как снова полюбить партнера после измены

Супружеская неверность совсем не обязательно означает конец брака

Psychologies
Пять шагов к доверию в паре Пять шагов к доверию в паре

Как избежать ловушки негативного сравнения в паре

Psychologies
Открыть в приложении