Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 распространенных ошибок, которых следует избегать для получения максимальной пользы от кофе 8 распространенных ошибок, которых следует избегать для получения максимальной пользы от кофе

Несколько кофейных ошибок, которые могут негативно сказаться на вашем здоровье

ТехИнсайдер
Майк Омер: «Пламя одержимости». Отрывок из третьей книги цикла Майк Омер: «Пламя одержимости». Отрывок из третьей книги цикла

Отрывок из истории переговорщика Эбби Маллен, которая встречается с прошлым

СНОБ
Как искусственный интеллект меняет бьюти-индустрию Как искусственный интеллект меняет бьюти-индустрию

Как технологии ИИ ежедневно помогают бьюти-мастерам в работе?

Inc.
Упал, очнулся – гипс Упал, очнулся – гипс

Как оказать первую помощь при переломе, а чего делать нельзя

Лиза
Типы старения лица и кожи: какие бывают и как их определить Типы старения лица и кожи: какие бывают и как их определить

Какие типы старения лица и организма существуют?

РБК
Как бы не крякнуть: почему мясо утки в России дешевеет Как бы не крякнуть: почему мясо утки в России дешевеет

Чего боятся производители утиного мяса и на что надеются

Forbes
Ингибиторы протонной помпы связали с повышенным риском инфекций у детей Ингибиторы протонной помпы связали с повышенным риском инфекций у детей

Прием ИПП связан с повышенным риском серьезных инфекций у маленьких детей

N+1
Выжать все лишнее. Продукты, вызывающие отеки (не ешь их на ночь) Выжать все лишнее. Продукты, вызывающие отеки (не ешь их на ночь)

Иногда проблема отечности связана с неправильным питанием

Лиза
Сапы на Ладоге и музей в колокольне: как в Ленинградской области развивают туризм Сапы на Ладоге и музей в колокольне: как в Ленинградской области развивают туризм

Программа помогает самым активным жителям региона налаживать интересную жизнь

Forbes
«Заступайтесь за детей даже перед родственниками»: как защитить ребенка и не поссориться «Заступайтесь за детей даже перед родственниками»: как защитить ребенка и не поссориться

Как защищать детей перед родственниками, чтобы не поссориться с ними

Psychologies
История сумасшествия: как менялась психиатрия — от античности до наших дней История сумасшествия: как менялась психиатрия — от античности до наших дней

Как изменялось отношение к психическим заболеваниям?

Psychologies
Осень на пляже Осень на пляже

Где российские туристы отдыхают в бархатный сезон

Деньги
История советских «Луноходов»: один разбился, один замерз, один перегрелся История советских «Луноходов»: один разбился, один замерз, один перегрелся

Времена, когда слово «Луноход» с восхищением произносили во всех странах мира

Maxim
Давайте знакомиться Давайте знакомиться

7 причин, почему мужчины тебя не хотят

Лиза
«Цезарь идёт!» «Цезарь идёт!»

«Alea iacta est» — то ли сказал, то ли не сказал Цезарь, когда переходил Рубикон

Дилетант
Яхты в кадре Яхты в кадре

Роли, которые играют яхты в нашумевших фильмах

Y Magazine
9 цитат успешных женщин, которые помогут прийти к цели 9 цитат успешных женщин, которые помогут прийти к цели

Успешные женщины — о том, как выключить перфекционизм и творить в полную силу

Psychologies
Olehan: «Я не буду выступать до тех пор, пока моя музыка не будет играть повсюду» Olehan: «Я не буду выступать до тех пор, пока моя музыка не будет играть повсюду»

Olehan о том, почему он никогда не будет покупать песни и куда хочет двигаться

ЖАРА Magazine
«Лучший химик — природа»: как вырастить обезболивающие лекарства на дрожжах «Лучший химик — природа»: как вырастить обезболивающие лекарства на дрожжах

Важнейшие лекарственные ингредиенты могут быть выращены по «пивной технологии»

Forbes
«Формула грез» «Формула грез»

Частое использование социальных сетей негативно влияет на психическое здоровье

N+1
Исчезающий вид. Что такое айсвайн, или «ледяное вино» Исчезающий вид. Что такое айсвайн, или «ледяное вино»

Чем айсвайн отличается от классических вин и почему его нельзя выпить много?

СНОБ
Социолог нашел подтверждение теории бредовых работ Социолог нашел подтверждение теории бредовых работ

Обладатели этих профессий ощущают бесполезность своей работы

N+1
По наполеоновскому счету По наполеоновскому счету

Во сколько обошлась России Отечественная война 1812 года

Деньги
Королева-девственница: как Елизавета I правила Англией в течение 40 лет Королева-девственница: как Елизавета I правила Англией в течение 40 лет

Елизавета I — королева, которую по-настоящему любили англичане

Forbes
Безусловная любовь: миф или реальность Безусловная любовь: миф или реальность

Гипнотерапевт раскрывает секреты безусловного принятия и любви

Psychologies
Самцы партеногенетических палочников оказались бесплодными Самцы партеногенетических палочников оказались бесплодными

Мужские особи палочников бесплодны из-за нарушенного сперматогенеза

N+1
Методом проб и ошибок Методом проб и ошибок

Раньше существовал стереотип, что коктейли не сочетаются с едой

Bones
Как разруливать конфликты с партнером: разбор ситуации Как разруливать конфликты с партнером: разбор ситуации

Как можно поговорить обо всем на свете, не срываясь на крик и не ссорясь

Psychologies
Дизайнерские дети и изучение эмбрионов: как наука сталкивается с этическими вопросами Дизайнерские дети и изучение эмбрионов: как наука сталкивается с этическими вопросами

Прогресс в репродуктологии — прогрессивное благо или этическое зло?

Forbes
5 признаков человека, которого недолюбили в детстве 5 признаков человека, которого недолюбили в детстве

Как можно определить, что в детстве тебе не хватило родительской любви

VOICE
Открыть в приложении