Новый метод обучения поможет роботам исследовать неизвестный окружающий мир

ТехИнсайдерHi-Tech

Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Новый метод обучения с подкреплением, разработанный Tinkoff Research, поможет роботам исследовать неизвестный окружающий мир и не погибнуть при этом исследовании. Метод получил название SAC-RND (Soft Actor Critic — Random Network Distillation). Он работает в 20 раз быстрее и надежнее, чем аналогичные разработки других ИИ-компаний.

Владимир Губайловский

6163a12bd08659e6198670497e8dd18a_ce_1545x1030x515x0.jpg
Ученые Tinkoff Research вывели робота на правильную и безопасную дорогу

Неизвестность — это всегда опасность. Исследование неизвестной среды требует в первую очередь точности и осторожности.

М

етод обучения с подкреплением, получивший название RND (random network distillation) разработали в 2018 году в компании OpenAI. Разработали, потому что встали в тупик. ИИ-агенты замечательно (или по крайней мере неплохо) играли во все игры Atari кроме одной — «Месть Монтесумы». В среднем человек набирает в эту игру 4700 очков, а ИИ-агенты, разработанные OpenAI, четко набирали 0. И было непонятно, почему такой отличный метод, как обучение с подкреплением в этом случае не работает.

И тогда инженеры OpenAI изменили стратегию вознаграждения (подкрепления). Они сказали ИИ-агенту: самая большая твоя награда — это новые знания. То есть, самая интересная ситуация та, которую трудно предсказать. Если ты не знаешь, что там за углом, стоит свернуть. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как начать бегать: 7 простых способов найти в себе мотивацию Как начать бегать: 7 простых способов найти в себе мотивацию

Что бегать полезно, знают все, но вот как удержать мотивацию и постоянство?

ТехИнсайдер
«Женщины для утешения»: как японская армия брала тысячи пленных в сексуальное рабство «Женщины для утешения»: как японская армия брала тысячи пленных в сексуальное рабство

С 1932-го по 1945 год более 200 000 женщин были обращены в сексуальное рабство

Forbes
Читалка для компьютера: выбираем лучшую из бесплатных Читалка для компьютера: выбираем лучшую из бесплатных

Лучшие читалки для компьютера из бесплатных программ

CHIP
Восстановить мужские ориентиры Восстановить мужские ориентиры

Молодые пары сегодня все реже следуют традиционному распределению ролей

Psychologies
Развод и утрата: как справиться с последствиями Развод и утрата: как справиться с последствиями

Как утрата влияет на наше психологическое состояние?

VOICE
Нарушение закона излучения Кирхгофа подтвердили экспериментально Нарушение закона излучения Кирхгофа подтвердили экспериментально

Физики впервые увидели в эксперименте нарушение теплового закона Кирхгофа

N+1
Самые странные виды спорта, которые реально существуют Самые странные виды спорта, которые реально существуют

Борьба на пальцах ног, футбол горящим мячом, хорьки в штанах и кое-что еще!

Maxim
Новое покрытие для конденсаторов сэкономит столько же энергии, сколько производит вся Россиия за год Новое покрытие для конденсаторов сэкономит столько же энергии, сколько производит вся Россиия за год

Ученые разработали новое покрытие для труб парового конденсатора

ТехИнсайдер
Путь к излечению: как формируется и проявляется самокритика Путь к излечению: как формируется и проявляется самокритика

Действительно ли суровый внутренний критик делает нас лучше? Или все-таки нет?

Psychologies
Первая свежесть Первая свежесть

Российские шефы поделились своим мнением о российской рыбе и морепродуктах

Bones
«Станьте исследователем»: как снова полюбить партнера после измены «Станьте исследователем»: как снова полюбить партнера после измены

Супружеская неверность совсем не обязательно означает конец брака

Psychologies
УФ-лампы в пылесосах: маркетинг или клёвая опция? УФ-лампы в пылесосах: маркетинг или клёвая опция?

Сейчас во многие роботы-пылесосы устанавливают ультрафиолетовые лампы

CHIP
«Смерть очень странная»: родные Светланы Джимбиновой боятся, что три ее квартиры в Москве достанутся черным риелторам «Смерть очень странная»: родные Светланы Джимбиновой боятся, что три ее квартиры в Москве достанутся черным риелторам

Родные Светланы Джимбиновой хотят прояснить вопрос с имуществом

VOICE
«Лучше промолчу»: почему не стоит избегать конфликтов в отношениях «Лучше промолчу»: почему не стоит избегать конфликтов в отношениях

К чему приводит избегание ссор и как надо ругаться, чтобы все не разрушить

Psychologies
Глава «Либо/Либо» Лика Кремер о том, почему подкасты нужны даже в очень сложное время Глава «Либо/Либо» Лика Кремер о том, почему подкасты нужны даже в очень сложное время

Почему подкасты оказались так востребованы в момент, когда весь мир рушится

Forbes
5 книг в жанре автофикшн 5 книг в жанре автофикшн

Автофикшн: самые интересные сюжеты всегда подкидывает жизнь

СНОБ
Самораскрытие: когда стоит и не стоит делиться с собеседником своим опытом и переживаниями Самораскрытие: когда стоит и не стоит делиться с собеседником своим опытом и переживаниями

Что такое самораскрытие и почему эта наклонность многих раздражает?

Psychologies
Дом для кругосветного плавания Дом для кругосветного плавания

Hallberg-Rassy 69 обеспечит вам длительное плавание с домашним комфортом

Y Magazine
«Посредники»: японская драма о торговле детьми от режиссера Хирокадзу Корээды «Посредники»: японская драма о торговле детьми от режиссера Хирокадзу Корээды

Как японскому режиссеру удается с улыбкой говорить о социальных проблемах

Forbes
Женщины и космос: что почитать у современных писательниц космической фантастики Женщины и космос: что почитать у современных писательниц космической фантастики

В жанре космической фантастики давно и успешно работают и писательницы

ТехИнсайдер
Как государство присматривается к рынку игровых артефактов Как государство присматривается к рынку игровых артефактов

Росфинмониторинг и Минфин задумались о регулировании игровых валют

Forbes
Полтора ребенка – разве такое возможно? Невероятная история близнецов Джона и Роберта Экхарт Полтора ребенка – разве такое возможно? Невероятная история близнецов Джона и Роберта Экхарт

Отсутствие нижних конечностей не помешало Джону Экхарту реализоваться в жизни

ТехИнсайдер
Не только мужской гормон: на что влияет тестостерон Не только мужской гормон: на что влияет тестостерон

Как поддерживать нужный уровень тестостерона и почему это важно?

Правила жизни
«Не спорь со мной»: как мирно решать конфликты «Не спорь со мной»: как мирно решать конфликты

Как решать конфликты, а не избегать их?

Psychologies
Не останется и следа: как отстирать пятна от ягод с одежды, ковра и дивана Не останется и следа: как отстирать пятна от ягод с одежды, ковра и дивана

Советы, как легко отстирать пятна от ягод с любой поверхности

ТехИнсайдер
Ген голого землекопа продлил жизнь мышей и защитил их от рака Ген голого землекопа продлил жизнь мышей и защитил их от рака

Ген голого землекопа повышает синтез высокомолекулярной гиалуроновой кислоты

N+1
5 неочевидных причин, вызывающих проблемы с эрекцией 5 неочевидных причин, вызывающих проблемы с эрекцией

Факторы, которые могут влиять на эрекцию

Maxim
Власть Власть

Как устроена власть в Объединенных Арабских Эмиратах?

Правила жизни
На повышенных оборотах На повышенных оборотах

8 крутых тренировок, которые сжигают больше всего калорий (до 1000 за занятие)

Лиза
Водителя четырежды ошибочно лишили прав. Он узнал об этом на «Госуслугах» Водителя четырежды ошибочно лишили прав. Он узнал об этом на «Госуслугах»

Водитель узнал, что уже четыре раза подряд лишен водительского удостоверения

РБК
Открыть в приложении