Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции

Зачем природе нужны самцы и почему она при этом совсем их не бережет

СНОБ
Как женщины отстаивают свои права в странах, где равенства не существует Как женщины отстаивают свои права в странах, где равенства не существует

Женщины, которые борются за свои права там, где это практически невозможно

Forbes
Беннифер навсегда: история любви Дженнифер Лопес и Бена Аффлека — 20 лет назад и сейчас Беннифер навсегда: история любви Дженнифер Лопес и Бена Аффлека — 20 лет назад и сейчас

Бурный роман, расставание и воссоединение: история Джей Ло и Бена Аффлека

Правила жизни
Фотонным временным кристаллам предрекли роль лазеров Фотонным временным кристаллам предрекли роль лазеров

Теория взаимодействия атома с излучением в среде фотонного временного кристалла

N+1
От «Казалетов» до Джонатана Франзена: 5 современных семейных саг От «Казалетов» до Джонатана Франзена: 5 современных семейных саг

Важные семейные саги последних лет

Forbes
11 правил хорошего отпуска 11 правил хорошего отпуска

Как отдохнуть без стрессов?

Psychologies
Что делает высокие температуры такими смертоносными Что делает высокие температуры такими смертоносными

Почему жара так сильно сказывается на нашем здоровье?

ТехИнсайдер
Клад из золотых римских ауресов закопали в Британии еще до римского завоевания Клад из золотых римских ауресов закопали в Британии еще до римского завоевания

Драгоценные находки, сделанные несколько лет назад в графстве Норфолк

N+1
Почему «Лучше звоните Солу» — великий сериал. Полный гид по спин-оффу «Во все тяжкие» Почему «Лучше звоните Солу» — великий сериал. Полный гид по спин-оффу «Во все тяжкие»

Разбираем на составляющие сериал «Лучше звоните Солу»

Правила жизни
Звезды, которые пошли по стопам своих родителей: от юных талантов до опытных мастеров актерского дела Звезды, которые пошли по стопам своих родителей: от юных талантов до опытных мастеров актерского дела

Кто из знаменитых детей продолжил дело своих родителей?

Правила жизни
Темные воды: что опасного скрывает в себе река Волга и кто в этом виноват Темные воды: что опасного скрывает в себе река Волга и кто в этом виноват

Под волнами Волги со сложным химическим составом таится немало опасностей

ТехИнсайдер
Анастасия Калманович — о 1990-х, Москве тех лет, Земфире и жизни, похожей на остросюжетный фильм Анастасия Калманович — о 1990-х, Москве тех лет, Земфире и жизни, похожей на остросюжетный фильм

Анастасия Калманович рассказала свою историю беспокойных 1990-х

Правила жизни
Как читать «Лето Господне» Шмелева Как читать «Лето Господне» Шмелева

Что нужно знать о жизни наших предков, чтобы правильно прочитать «Лето Господне»

Культура.РФ
Топ-10 бесплатных игр на ПК: популярные хиты, достойные вашего внимания Топ-10 бесплатных игр на ПК: популярные хиты, достойные вашего внимания

10 лучших бесплатных игр на любой вкус

CHIP
Рэйнор Винн: «Дикая тишина». Продолжение международного бестселлера «Соленая тропа» Рэйнор Винн: «Дикая тишина». Продолжение международного бестселлера «Соленая тропа»

Отрывок из романа-путешествия пожилой пары — в этот раз в Исландии

СНОБ
5 лайфхаков для тех, кто планирует отдохнуть в Узбекистане 5 лайфхаков для тех, кто планирует отдохнуть в Узбекистане

Что стоит посмотреть в Узбекистане и зачем туда ехать?

Maxim
Зеленое меню Зеленое меню

Почему зеленое меню — не панацея

Bones
Добро пожаловать в суперигру Добро пожаловать в суперигру

Александра Урсуляк — о комедиях, драмах и семейных ценностях

OK!
Осы осознали абстрактные понятия «одинаковый» и «разный» Осы осознали абстрактные понятия «одинаковый» и «разный»

Бумажные осы Polistes fuscatus осознают понятия «одинаковый» и «разный»

N+1
Одна вокруг света: озеро Титикака и ворота в Боливию Одна вокруг света: озеро Титикака и ворота в Боливию

180-я серия о кругосветном путешествии москвички Ирины Сидоренко: в Боливию

Forbes
Часы за 50 миллионов и дорогие тачки: как и на чем зарабатывает Джиган Часы за 50 миллионов и дорогие тачки: как и на чем зарабатывает Джиган

Откуда у Джигана столько денег?

VOICE
Укачивание Укачивание

Как побороть укачивание?

Здоровье
«Этот журнал создан для изгнанников» «Этот журнал создан для изгнанников»

Зачем эмигранты основывали собственные издания и чем это заканчивалось

Weekend
Фрукты против БАДов Фрукты против БАДов

Нужно ли летом пить витамины или достаточно сезонной еды?

Лиза
Как играют умершие актеры: что такое дипфейк Как играют умершие актеры: что такое дипфейк

Что такое дипфейки и насколько они могут быть опасны

Psychologies
Сталин в резиновых сапогах и раненая собака на солдатской шинели: 8 интересных фактов о первом Параде Победы 1945 года Сталин в резиновых сапогах и раненая собака на солдатской шинели: 8 интересных фактов о первом Параде Победы 1945 года

Первый Парад Победы 1945 года открыл проливной дождь

ТехИнсайдер
Вкус Кандинского: как зрение побеждает в конфликте с другими чувствами Вкус Кандинского: как зрение побеждает в конфликте с другими чувствами

Отрывок из книги «Как работают наши чувства» Рассела Джонса

Forbes
Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем) Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем)

Суперзлодеи кинокомиксов порой интереснее любого добряка

Maxim
Мощь, комфорт, цифровизация: на атомных ледоколах до Северного полюса и по Северному пути Мощь, комфорт, цифровизация: на атомных ледоколах до Северного полюса и по Северному пути

Рассказываем о настоящем и будущем атомного флота России

ТехИнсайдер
Причины возникновения и опасность анемии: всё о дефиците железа в организме Причины возникновения и опасность анемии: всё о дефиците железа в организме

Что такое анемия и как ее лечить?

VOICE
Открыть в приложении