Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

4 причины есть йогурт на ужин 4 причины есть йогурт на ужин

Какие преимуществ для пищеварения имеет употребление йогурта вечером

ТехИнсайдер
«Я ж не псих какой-нибудь»: как ваши проблемы становятся бедами других людей «Я ж не псих какой-нибудь»: как ваши проблемы становятся бедами других людей

Наплевательское отношение к своему ментальному здоровью — это безответственность

Psychologies
Эксперт Фомин рассказал, как предотвратить слежку за переписками на Android Эксперт Фомин рассказал, как предотвратить слежку за переписками на Android

Способы защиты переписок для пользователей Android-устройств

ТехИнсайдер
Слепое зрение: почему этот феномен так заинтересовал ученых Слепое зрение: почему этот феномен так заинтересовал ученых

Каково это — видеть, но не осознавать этого?

Psychologies
Тест-полоска: как Минздрав помогает регионам лечить пациентов с диабетом Тест-полоска: как Минздрав помогает регионам лечить пациентов с диабетом

Как реализуется федеральная программа «Борьба с сахарным диабетом»

Forbes
Москва и москвички Москва и москвички

«Жизнь по вызову. Док»: якобы исследование столичной секс-индустрии

Weekend
Чтобы лучше видеть Чтобы лучше видеть

Как быстро снять усталость глаз и почему она возникает?

Лиза
Русская рыба Русская рыба

Почему долгое время не было интереса к местной рыбе и когда все поменялось

Bones
«Мне нужно побыть одному»: как найти время для себя, если вы в отношениях «Мне нужно побыть одному»: как найти время для себя, если вы в отношениях

Как не потерять индивидуальность в отношениях и выкроить время для себя

Psychologies
Береги личный бренд с молоду: как рассказать подростку о репутации в интернете Береги личный бренд с молоду: как рассказать подростку о репутации в интернете

Глава из книги «Поговорят и забудут» о том, как противостоять интернет-агрессии

Forbes
Что такое клетчатка, в чем ее польза и почему она нужна для похудения Что такое клетчатка, в чем ее польза и почему она нужна для похудения

Как клетчатка влияет на человеческий организм?

РБК
Что такое безглютеновый хлеб и почему он полезен далеко не всем Что такое безглютеновый хлеб и почему он полезен далеко не всем

Есть ли спрос на безглютеновый хлеб и что это ― панацея или новый тренд

РБК
Осадки сточных вод помешали почве сорбировать ситаглиптин Осадки сточных вод помешали почве сорбировать ситаглиптин

Повышенный риск попадания фармацевтических поллютантов в грунтовые воды

N+1
Стрельцы: преступление и наказание Стрельцы: преступление и наказание

Стрелецкий бунт 1698 года: «усердие в усмирении» достигало высот заоблачных

Дилетант
Как выбрать реально работающую маску для волос: 6 золотых лайфхаков от эксперта Как выбрать реально работающую маску для волос: 6 золотых лайфхаков от эксперта

Базовые правила выбора хорошей маски для преображения локонов

VOICE
Муж прощал любовь к другому:  тайны личной жизни Веры Васильевой Муж прощал любовь к другому:  тайны личной жизни Веры Васильевой

Вера Васильева не скрывала от супруга, что всю жизнь любила другого

VOICE
Осень на пляже Осень на пляже

Где российские туристы отдыхают в бархатный сезон

Деньги
Дни и ночи стрелецких казней Дни и ночи стрелецких казней

Следствие по делу стрельцов сопровождалось невиданными пытками и расправами

Дилетант
20-летний боец ММА лишился легкого: чем опасен вейпинг 20-летний боец ММА лишился легкого: чем опасен вейпинг

«Безопасная» альтернатива обычным сигаретам оказалась совсем небезопасной

Psychologies
«Смерть очень странная»: родные Светланы Джимбиновой боятся, что три ее квартиры в Москве достанутся черным риелторам «Смерть очень странная»: родные Светланы Джимбиновой боятся, что три ее квартиры в Москве достанутся черным риелторам

Родные Светланы Джимбиновой хотят прояснить вопрос с имуществом

VOICE
Карма существует! Карма существует!

Instasamka о том, почему боится гулять по Москве без охраны и о многом другом

ЖАРА Magazine
Водный мир Водный мир

Черногория, которая каждого наградит развлечениями на любой вкус

Y Magazine
Фильмы и сериалы с похожими названиями, которые всех сбивают с толку Фильмы и сериалы с похожими названиями, которые всех сбивают с толку

Несколько обескураживающих названий фильмов, которые сбивают всех с толку

Maxim
Европа понарошку: зачем россияне скупают недвижимость на Северном Кипре Европа понарошку: зачем россияне скупают недвижимость на Северном Кипре

Сначала года существенно вырос спрос на недвижимость Северного Кипра

Forbes
«Только ты и я»: драма о том, как домашнее насилие притворяется идеальным браком «Только ты и я»: драма о том, как домашнее насилие притворяется идеальным браком

Как «Только ты и я» воссоздает реальность женщины, попавшей в абьюзивный брак

Forbes
Любовь, как в кино: почему мы мечтаем о нереалистичных отношениях Любовь, как в кино: почему мы мечтаем о нереалистичных отношениях

Почему мы хотим любви, как в романтическом фильме?

Psychologies
Сад с продолжением Сад с продолжением

Ежегодно садоводам требуется 24 млн саженцев плодово-ягодных культур

Агроинвестор
Правила, которые нужно соблюдать перед тренировкой Правила, которые нужно соблюдать перед тренировкой

5 рекомендаций, благодаря которым тренировки точно будут полезными

Maxim
Коварный вирус. 8 фактов, которые перевернут твое представление об этой болезни Коварный вирус. 8 фактов, которые перевернут твое представление об этой болезни

Наверное, нет ни одного человека, который хотя бы раз не переболел ротавирусом

Лиза
7 повседневных привычек, которые тайно разрушают вашу сексуальную жизнь 7 повседневных привычек, которые тайно разрушают вашу сексуальную жизнь

Не стала ли ваша страсть жертвой вашего же образа жизни?

Psychologies
Открыть в приложении