Куда нас приведут игры с искусственным интеллектом

СНОБHi-Tech

Куда нас приведут нейросети?

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин.

Текст: Иван Ильин

Natural language understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык – это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook (соцсеть признана в РФ экстремистской и запрещена) представила OPT-2, Google – PaLM, DeepMind – Gopher и RETRO, Nvidia – Megatron, OpenAI – обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд – инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров – RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Живая ткань Живая ткань

Как восстанавливают разрушенные войной города

Forbes
«Щас спою»: почему перерисовывали волка в мультфильме «Жил-был пес» «Щас спою»: почему перерисовывали волка в мультфильме «Жил-был пес»

Волк из знаменитого мультфильма «Жил-был пес» должен был выглядеть иначе

VOICE
Энергетика Энергетика

Атомный век научил людей бояться атома

Esquire
Барнаульский археолог описал парное погребение в кургане пазырыкской региональной элиты Барнаульский археолог описал парное погребение в кургане пазырыкской региональной элиты

Под насыпью в Ханкаринском Доле находилась могила двух людей и семи коней

N+1
Алмазы под давлением Алмазы под давлением

Экономист Александр Аузан о будущем креативных индустрий

СНОБ
10 красивых античных имен для девочки 10 красивых античных имен для девочки

Подборка оригинальных имен с историей родом из древнего мира

Вокруг света
К вам санитары, мистер Андерсон К вам санитары, мистер Андерсон

Писатель Александр Цыпкин о наших цифровых аватарах

СНОБ
3 проверенных способа начать делать то, что не хочется 3 проверенных способа начать делать то, что не хочется

Вам очень не хочется приступать к важному делу?

Psychologies
Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что» Анастасия Ефимова: «Если тратить свою энергию на обиды, тогда ее не останется больше ни на что»

Отельер Анастасия Ефимова – о гостеприимстве и духе времени

СНОБ
Королевский калибр: как сражались друг с другом корабли-титаны Королевский калибр: как сражались друг с другом корабли-титаны

Сверхкорабли и грозная история

ТехИнсайдер
Найти фриланс в IT за три месяца Найти фриланс в IT за три месяца

Как зарабатывать больше денег в кризис

СНОБ
Султан Лагучев: «Слава — это психологически трудно» Султан Лагучев: «Слава — это психологически трудно»

Певец рассказал о том, какой стала его жизнь после выхода хита «Горький вкус»

ЖАРА Magazine
Пока играет Вальц Пока играет Вальц

«У жизни есть одна гарантия – она всегда может стать еще хуже»

Esquire
Максим Винарский Максим Винарский

Биолог Максим Винарский выпустил книгу о последнем общем предке всех организмов

Собака.ru
Во глубину сибирских руд Во глубину сибирских руд

По следам декабристов на каторгу в Сибирь

Вокруг света
Как почистить столовые приборы до блеска: серебро, нержавейка и дерево Как почистить столовые приборы до блеска: серебро, нержавейка и дерево

Что делать, если налет на столовых приборах так просто не оттирается?

ТехИнсайдер
Не растениями едиными: как люди используют животных в медицине Не растениями едиными: как люди используют животных в медицине

Словосочетание «лекарственные животные» порой вызывает недоумение

Вокруг света
Директор московской «Ночлежки» Дарья Байбакова: «На чувстве вины далеко не уедешь» Директор московской «Ночлежки» Дарья Байбакова: «На чувстве вины далеко не уедешь»

Как социальный проект «Ночлежка» стал бизнесом

СНОБ
Найден источник Черной Смерти — одной из самых смертоносных пандемий за всю историю Найден источник Черной Смерти — одной из самых смертоносных пандемий за всю историю

Черная смерть была первой волной 500-летней пандемии

ТехИнсайдер
Как устроено образование в Аргентине: от детских садов до университетов Как устроено образование в Аргентине: от детских садов до университетов

В Аргентине детей отправляют в ясли уже в 1,5 месяца

Вокруг света
Сердце без насечек: история женщины с патологическим чувством одиночества Сердце без насечек: история женщины с патологическим чувством одиночества

Отрывок из книги «Группа» — о том, как групповая терапия может спасти жизнь

Forbes
Астрономы увидели начало гибели периодической околосолнечной кометы в деталях Астрономы увидели начало гибели периодической околосолнечной кометы в деталях

323P/SOHO потеряла до 10 процентов своей массы после сближения с Солнцем

N+1
Спасти Рембрандта за € 3 млн: как восстанавливают картины после нападения вандалов Спасти Рембрандта за € 3 млн: как восстанавливают картины после нападения вандалов

Вспоминаем случаи музейного вандализма

Forbes
Музыка на кончиках пальцев: раскрываем тайны выдающихся пианистов Музыка на кончиках пальцев: раскрываем тайны выдающихся пианистов

Раскрываем тайны выдающихся людей

Вокруг света
Нам живыми быть не идет. О российском фильме «Межсезонье» Нам живыми быть не идет. О российском фильме «Межсезонье»

Новый фильм Александра Ханта «Межсезонье» — почему его стоит смотреть

СНОБ
5 растительных продуктов с высоким содержанием белка 5 растительных продуктов с высоким содержанием белка

Какие растительные продукты содержат много белка?

ТехИнсайдер
Палеоантропологи обнаружили в Колыбели человечества 15 зубов парантропов Палеоантропологи обнаружили в Колыбели человечества 15 зубов парантропов

Палеоантропологи исследовали зубы, обнаруженные в комплексе пещер Дримолен

N+1
Робот-младенец и лысая Одри Хепберн: 5 человекообразных роботов Робот-младенец и лысая Одри Хепберн: 5 человекообразных роботов

Современные роботы могут быть очень похожими на людей

РБК
«Где стол был яств, там гроб стоит»: как в «Опасных связях» мертвое вытесняет живое «Где стол был яств, там гроб стоит»: как в «Опасных связях» мертвое вытесняет живое

Спектакль «Опасные связи» — один большой натюрморт, где все пожирают друг друга

Forbes
Добро пожаловаться Добро пожаловаться

Три повода для ссор с соседями, в которых можно и нужно идти до конца

Лиза
Открыть в приложении