Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Новая дисциплина Новая дисциплина

Чемпионка мира, чемпионка Европы, призер Олимпийских игр – Евгения Медведева

Maxim
Еда монахов и солдат: 6 неизвестных фактов о гречневой крупе Еда монахов и солдат: 6 неизвестных фактов о гречневой крупе

За что в России полюбили гречку и чем она полезна

Вокруг света
Глобальный сдвиг или глубочайший кризис: каким будет 2021 год Глобальный сдвиг или глубочайший кризис: каким будет 2021 год

Список главных трендов года

РБК
Танатофобия: что такое страх смерти и как с ним бороться Танатофобия: что такое страх смерти и как с ним бороться

Почему у некоторых людей любое упоминание смерти вызывает панику и тревожность?

РБК
Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”» Ресторатор Борис Зарьков: «Дальше очень просто – жизнь продолжается. Вы находитесь “здесь”»

Ресторатор Борис Зарьков – пат в шахматах, уход Michelin и «голые короли

СНОБ
Жизнь после развода: как стать самодостаточным мужчиной и хорошим отцом Жизнь после развода: как стать самодостаточным мужчиной и хорошим отцом

Развод может стать настоящим испытанием на прочность не только для женщины

Forbes
Синтетический футуризм Синтетический футуризм

Эксперимент редакции с нейросетью, «вобравшей» в себя Сорокина и Пелевина

СНОБ
Китайская домохозяйка 10 лет писала в Википедии фейковые статьи о России: что это было? Китайская домохозяйка 10 лет писала в Википедии фейковые статьи о России: что это было?

Миллионы китайцев верили в существование серебряного рудника Кашин в России

Psychologies
Молотов в Берлине Молотов в Берлине

О чем наркоминдел беседовал в Берлине с Гитлером

Дилетант
Для охоты, общения и навигации: как рыбы научились использовать электричество Для охоты, общения и навигации: как рыбы научились использовать электричество

Человек не может обходиться без электричества. А рыбы освоили его гораздо раньше

Вокруг света
Русский Кортес Русский Кортес

Как проходил сибирский поход Ермака

Дилетант
Главная трагедия всей жизни Меган Маркл произошла после свадьбы с принцем Гарри Главная трагедия всей жизни Меган Маркл произошла после свадьбы с принцем Гарри

Меган Маркл обладала особым талантом для перемен в мире, считает эксперт

VOICE
Плати смартфоном легко! Плати смартфоном легко!

Как работает система быстрых платежей?

VOICE
Сергей Иванов: «Хотел бы назвать их друзьями» Сергей Иванов: «Хотел бы назвать их друзьями»

Тайны, оставшиеся за кадром, раскрывает известный фотограф Сергей Иванов

Караван историй
Белка и Стрелка отправились на орбиту не одни: 5 фактов об удивительном полете животных в космос Белка и Стрелка отправились на орбиту не одни: 5 фактов об удивительном полете животных в космос

Все секреты легендарного полета Белки и Стрелки

ТехИнсайдер
Как первая леди Бетти Форд боролась с сексизмом, стигматизацией рака и алкоголизмом Как первая леди Бетти Форд боролась с сексизмом, стигматизацией рака и алкоголизмом

Рассказываем о судьбе женщины, которая поменяла правила игры в Белом доме

Forbes
Тайное значение твоего имени: как его узнать и как оно влияет на судьбу Тайное значение твоего имени: как его узнать и как оно влияет на судьбу

Как узнать тайное значение твоего имени и что делать с этой информацией

VOICE
Что такое упрощенные машины, и какие из них первыми появятся на дорогах Что такое упрощенные машины, и какие из них первыми появятся на дорогах

Зачем нужен возврат к прежним стандартам производства автомобилей?

РБК
«Все ненавидят Эмбер Херд»: что не так с победой Джонни Деппа в суде? «Все ненавидят Эмбер Херд»: что не так с победой Джонни Деппа в суде?

Как блогеры, активисты за права мужчин заставили всех поверить в теорию заговора

Psychologies
Кроссовки Понци: что не так с популярной NFT-игрой, где получают токены за пробежки Кроссовки Понци: что не так с популярной NFT-игрой, где получают токены за пробежки

Как устроена экономика проекта Stepn и за чей счет пользователи получают деньги?

Forbes
Ничего лишнего Ничего лишнего

Как стать бьюти-минималистом и не вестись на маркетинговые уловки

Новый очаг
Почему распадается брак: 9 глубинных причин Почему распадается брак: 9 глубинных причин

Девять самых частых причин, приводящих к кризису отношений

Psychologies
Датчик коленвала: что это и как его проверить Датчик коленвала: что это и как его проверить

Как понять, что датчик коленвала захандрил и что делать в такой ситуации?

РБК
Каким должен быть современный мужчина: россиянки назвали привлекающее их качество Каким должен быть современный мужчина: россиянки назвали привлекающее их качество

Наиболее популярные качества, которые женщины ценят в мужчинах

Psychologies
Ученые ищут методы борьбы с заиканием. Успехи пока скромные Ученые ищут методы борьбы с заиканием. Успехи пока скромные

Возможно ли вылечить заикание?

ТехИнсайдер
5 растительных продуктов с высоким содержанием белка 5 растительных продуктов с высоким содержанием белка

Какие растительные продукты содержат много белка?

ТехИнсайдер
Как почистить столовые приборы до блеска: серебро, нержавейка и дерево Как почистить столовые приборы до блеска: серебро, нержавейка и дерево

Что делать, если налет на столовых приборах так просто не оттирается?

ТехИнсайдер
Защитные реакции психики: почему в момент ссоры мы плачем или молчим Защитные реакции психики: почему в момент ссоры мы плачем или молчим

Происхождение защитных механизмов, как они включаются и работают внутри нас

VOICE
Цена прохлады: как выбрать кондиционер для дома Цена прохлады: как выбрать кондиционер для дома

На что обратить внимание при выборе кондиционера?

CHIP
Дело «баронессы де Сталь» Дело «баронессы де Сталь»

Лидия де Шталь — советская шпионка и «бацилла большевизма»

Дилетант
Открыть в приложении