Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы заметили в космосе таинственную идеальную сферу Астрономы заметили в космосе таинственную идеальную сферу

Объект Телиос: совершенная сфера неизвестного происхождения

ТехИнсайдер
«Кишечник и мозг» «Кишечник и мозг»

Как кишечные бактерии исцеляют и защищают ваш мозг

N+1
Вход в провал: какие гаджеты опередили свое время и потерпели неудачу Вход в провал: какие гаджеты опередили свое время и потерпели неудачу

Гаджеты, которые обещали перевернуть нашу жизнь, но в итоге потерпели крах

Forbes
10 леденящих душу книг ужасов 10 леденящих душу книг ужасов

Не пугает окружающая действительность? Тогда эти книги точно для вас!

Maxim
10 ошибок в аэропорту, которые дорого вам обойдутся 10 ошибок в аэропорту, которые дорого вам обойдутся

Рассказываем о мелочах, которые могут существенно подорвать бюджет поездки

Maxim
Как построить счастливые отношения: 5 советов Как построить счастливые отношения: 5 советов

Как создать союз любящих и доверяющих друг другу людей?

Psychologies
Куда ехать в поисках гастрономических впечатлений в России: 7 направлений Куда ехать в поисках гастрономических впечатлений в России: 7 направлений

Возможные направления для гастрономических путешественников

РБК
Зуд седьмого года: когда риски измены в браке выше всего Зуд седьмого года: когда риски измены в браке выше всего

Почему люди идут на неверность примерно спустя семь лет брака

Psychologies
Самомассаж при стрессе Самомассаж при стрессе

5 самых эффективных техник самомассажа

Лиза
Я — сноб: главный архитектор Москвы Сергей Кузнецов Я — сноб: главный архитектор Москвы Сергей Кузнецов

Архитектор Сергей Кузнецов — о новых проектах и любви к автономии

СНОБ
Как выбрать арбуз и дыню? Как выбрать арбуз и дыню?

Одним нравится арбуз, другим дыня. Для всех они — олицетворение прекрасного лета

Psychologies
Киригами-манипулятор поднимет груз в 16000 раз тяжелее себя Киригами-манипулятор поднимет груз в 16000 раз тяжелее себя

Американские инженеры создали простой и недорогой киригами-манипулятор

N+1
Четыре секрета Google Chrome, о которых вы не знали Четыре секрета Google Chrome, о которых вы не знали

О многих функциях Chrome вы могли даже не подозревать

ТехИнсайдер
Не только мужской гормон: на что влияет тестостерон Не только мужской гормон: на что влияет тестостерон

Как поддерживать нужный уровень тестостерона и почему это важно?

Правила жизни
Императорские пингвины в четырех колониях в море Беллинсгаузена потеряли всех птенцов в 2022 году Императорские пингвины в четырех колониях в море Беллинсгаузена потеряли всех птенцов в 2022 году

Почему пингвины моря Беллинсгаузена не смогли вывести птенцов в 2022 году

N+1
Железная логика: почему промышленники против оборотных штрафов за утечки данных Железная логика: почему промышленники против оборотных штрафов за утечки данных

Сталевары выступили с критикой ведения оборотных штрафов за утечки данных

Forbes
«Счастье не за горами»: культурный гид по Перми «Счастье не за горами»: культурный гид по Перми

Что сегодня можно увидеть в Перми и в какие музеи ходить?

Forbes
История советских «Луноходов»: один разбился, один замерз, один перегрелся История советских «Луноходов»: один разбился, один замерз, один перегрелся

Времена, когда слово «Луноход» с восхищением произносили во всех странах мира

Maxim
Надоел ваш феминизм: за что мужчины обиделись на «Барби» Надоел ваш феминизм: за что мужчины обиделись на «Барби»

Почему фильм «Барби» оказался настолько смешным и провокационным?

VOICE
Кинофраншизы, в которых изящно закрыли сюжетные дыры Кинофраншизы, в которых изящно закрыли сюжетные дыры

Иногда Голливуд исправляет ошибки в своих фильмах! Вот примеры

Maxim
Хроническую усталость связали с низкой эффективностью митохондрий Хроническую усталость связали с низкой эффективностью митохондрий

Неврологи описали патогенез синдрома хронической усталости у пациентки

N+1
Остросюжетные триллеры и немного балета: пять новых сериалов, которые стоит увидеть Остросюжетные триллеры и немного балета: пять новых сериалов, которые стоит увидеть

На какие сериалы стоит обратить внимание?

Forbes
Не просто аксессуар: 4 причины, почему нужно носить солнцезащитные очки и летом, и зимой Не просто аксессуар: 4 причины, почему нужно носить солнцезащитные очки и летом, и зимой

Какую пользу могут принести солнцезащитные очки?

ТехИнсайдер
«Тампон почти убил меня»! Как модель потеряли ноги из-за синдрома токсического шока «Тампон почти убил меня»! Как модель потеряли ноги из-за синдрома токсического шока

Средства интимной гигиены сделали молодую девушки инвалидом

ТехИнсайдер
Как без труда удалить шерсть домашних животных с одежды, ковра и мебели Как без труда удалить шерсть домашних животных с одежды, ковра и мебели

Делимся простыми лайфхаками, как максимально ускорить процесс уборки шерсти

ТехИнсайдер
Биполярное судно: Россия строит самый большой и  многофункциональный ледокол Биполярное судно: Россия строит самый большой и  многофункциональный ледокол

Россия приступила к строительству научно-экспедиционного судна «Иван Фролов»

ТехИнсайдер
Останки людей из Атапуэрки датировали эпохой раннего неолита Останки людей из Атапуэрки датировали эпохой раннего неолита

Ученые исследовали останки людей, найденные на памятнике Галерея-дель-Силекс

N+1
Методом проб и ошибок Методом проб и ошибок

Раньше существовал стереотип, что коктейли не сочетаются с едой

Bones
А был ли путч? А был ли путч?

Как популярный военный предотвратил заговор, которого, возможно, не было

Дилетант
Ученые из Гарварда выяснили, чем опасен «социальный джетлаг» для здоровья Ученые из Гарварда выяснили, чем опасен «социальный джетлаг» для здоровья

«Социальный джетлаг» приводит к ухудшению питания и заболеваниям кишечника

Inc.
Открыть в приложении