Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

ИИ-система создает модели для сборки из кирпичиков Лего ИИ-система создает модели для сборки из кирпичиков Лего

Как создали AI-систему, которая может по промпту собирать физические объекты

ТехИнсайдер
С грядки на стол С грядки на стол

Каждый шеф находит свое решение в вопросе поставки свежих продуктов

Bones
Искусственные «лепестки» левитируют только за счет солнечного тепла Искусственные «лепестки» левитируют только за счет солнечного тепла

Как работает устройство, способное левитировать в мезосфере

ТехИнсайдер
Самые странные виды спорта, которые реально существуют Самые странные виды спорта, которые реально существуют

Борьба на пальцах ног, футбол горящим мячом, хорьки в штанах и кое-что еще!

Maxim
Почему свистит ремень генератора и как его проверить Почему свистит ремень генератора и как его проверить

Свистит ремень генератора: что делать и как проверить

РБК
Мои проекты в Сочи Мои проекты в Сочи

Оставить WRF и уехать в казино в Сочи? Это было совершенно исключено

Bones
Ралли «Шёлковый путь 2023». Итоги Ралли «Шёлковый путь 2023». Итоги

Новое издание было уникально как по спортивной составляющей, так и по эмоциям

4x4 Club
ИИ нашел неандертальский белок, который может стать источником новых антибиотиков ИИ нашел неандертальский белок, который может стать источником новых антибиотиков

«Воскрешенные» молекулы могут послужить источником новых лекарств

ТехИнсайдер
Не красавицы, а глаз не отвести! Как в молодости выглядели актрисы, которые не вписываются в бьюти-стандарты Не красавицы, а глаз не отвести! Как в молодости выглядели актрисы, которые не вписываются в бьюти-стандарты

Как же в молодости выглядели обладательницы необычной внешности

VOICE
Зачем кузнечику сабля? Зачем кузнечику сабля?

Как спрятать кладку, когда даже закопать её не можешь?

Наука и жизнь
Коварный вирус. 8 фактов, которые перевернут твое представление об этой болезни Коварный вирус. 8 фактов, которые перевернут твое представление об этой болезни

Наверное, нет ни одного человека, который хотя бы раз не переболел ротавирусом

Лиза
Замуж за иностранца Замуж за иностранца

7 советов, как не попасть в заложники к заморскому принцу

Лиза
Пермская обитель Пермская обитель

Илья Гришаев: почерк абстракции

Weekend
В Польше нашли убитых в немецком лагере Треблинка-1 заключенных В Польше нашли убитых в немецком лагере Треблинка-1 заключенных

Ученые провели исследование останков из коллективной могилы в Треблинке-1

N+1
Напуганные долларом: кто взвинтил спрос на московские новостройки Напуганные долларом: кто взвинтил спрос на московские новостройки

Продажи в новостройках Москва сильно выросли и в сравнении с прошлым годом

Forbes
Из грязи в… грязи Из грязи в… грязи

Подборка мототехники для активного отдыха

Y Magazine
«Не спорь со мной»: как мирно решать конфликты «Не спорь со мной»: как мирно решать конфликты

Как решать конфликты, а не избегать их?

Psychologies
Это не ветка Это не ветка

Лев на картине Сано ди Пьетро несчастен не потому, что ему предложили ветку

Вокруг света
Альтернативное решение Альтернативное решение

Как лечат пиявки и нужна ли вообще такая терапия

Лиза
Что будет, если летом уснуть на голой земле Что будет, если летом уснуть на голой земле

Насколько опасно для особей нашего вида спать на земле летом

Maxim
Мозг собак сильнее отреагировал на человеческое сюсюкание Мозг собак сильнее отреагировал на человеческое сюсюкание

Ученые выявили сходство между тем, как мозг младенцев и собак обрабатывает речь

N+1
Изменяя сознание Изменяя сознание

Цель стажировки в ресторане Modus — кардинально изменить себя

Bones
10 отличных фильмов с очень мрачным финалом 10 отличных фильмов с очень мрачным финалом

Никаких сопливых хэппи-эндов! Только страдания и хардкор!

Maxim
Во власти гордыни: какую выгоду несет роль жертвы Во власти гордыни: какую выгоду несет роль жертвы

Почему в позиции жертвы мы чувствуем странную гордость?

Psychologies
Новая Toyota Land Cruiser возвращается к своим внедорожным корням Новая Toyota Land Cruiser возвращается к своим внедорожным корням

Новая Toyota Land Cruiser — ретро-дизайн и мощный двигатель

4x4 Club
У бабочек обнаружили пространственную память У бабочек обнаружили пространственную память

Бабочки геликонии запоминают расположение богатых пыльцой цветков

N+1
Почему привычная еда выглядит так, как она выглядит, и при чем тут дизайн Почему привычная еда выглядит так, как она выглядит, и при чем тут дизайн

Команда проекта A-House поразмышляла на тему сближения миров еды и дизайна

РБК
О чем мечтают и почему ссорятся империи: история долгих отношений России и Турции О чем мечтают и почему ссорятся империи: история долгих отношений России и Турции

Как враждовали и о чем спорили две империи?

Forbes
«Месси угрожает погубить душу нашей лиги» — в США критикуют аргентинца и его клуб «Месси угрожает погубить душу нашей лиги» — в США критикуют аргентинца и его клуб

За что достается одному из лучших игроков в истории Лионелю Месси

Forbes
«Любовь невозможна без боли»: зачем сталкиваться с фрустрацией в отношениях «Любовь невозможна без боли»: зачем сталкиваться с фрустрацией в отношениях

Мы все мечтаем о любви, но мало кто может ее вынести и сохранить. Почему?

Psychologies
Открыть в приложении