Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции Первопроходцы и хранители: как профессор Геодакян нашел пушечное мясо для эволюции

Зачем природе нужны самцы и почему она при этом совсем их не бережет

СНОБ
Ученые создали миниатюрную копию желудочка сердца — и даже заставили ее биться Ученые создали миниатюрную копию желудочка сердца — и даже заставили ее биться

Новый орган, похожий на сердце, был выращен в лаборатории

ТехИнсайдер
Почему мы не найдем инопланетян в космосе, даже если они существуют на самом деле Почему мы не найдем инопланетян в космосе, даже если они существуют на самом деле

Почему мы не узнаем о существовании живых существ у чужих звезд?

ТехИнсайдер
Улик не было: насколько распространены ложные обвинения в изнасиловании Улик не было: насколько распространены ложные обвинения в изнасиловании

Отрывок из книги «Право на секс. Феминизм в XXI веке»

Forbes
«Джейн глазами Шарлотты»: документальное кино об отношениях в семье Генсбур-Биркин «Джейн глазами Шарлотты»: документальное кино об отношениях в семье Генсбур-Биркин

Почему кино «Джейн глазами Шарлотты» — больше, чем просто байопик

Forbes
А вдруг все серьезнее... А вдруг все серьезнее...

Болит спина – и мы спешим на массаж. А может, надо к врачу?

Лиза
Подать голос: интервью с Денисом Колесниковым, создателем студии «Кураж-Бамбей» Подать голос: интервью с Денисом Колесниковым, создателем студии «Кураж-Бамбей»

Денис Колесников — о важнейших российских и иностранных сериалах

Правила жизни
Что выдает дилетанта: 7 популярных ошибок, которые портят ваш ремонт Что выдает дилетанта: 7 популярных ошибок, которые портят ваш ремонт

Некоторые вещи моментально выдают неумелого мастера ремонта

ТехИнсайдер
Куда пропал Конор Макгрегор: катается на яхте за $2,6 млн, гоняет по судам и неистово качается Куда пропал Конор Макгрегор: катается на яхте за $2,6 млн, гоняет по судам и неистово качается

Последние четыре года Конора Макгрэгора в UFC получились очень сложными

Maxim
Астероид Бенну оказался необычайно рыхлым Астероид Бенну оказался необычайно рыхлым

Грунт Бенну вблизи его поверхности характеризуется низкой плотностью

N+1
«Мальчик, который не переставал расти… и другие истории про гены и людей» «Мальчик, который не переставал расти… и другие истории про гены и людей»

Отрывок из книги «Мальчик, который не переставал расти…» о митохондриальной ДНК

N+1
Глаз радуется Глаз радуется

16 вьющихся цветов для украшения заборов, террас и арок

Лиза
Дачная экзотика Дачная экзотика

Дюк, мушмула и еще 5 небанальных плодовых кустарников и деревьев для сада

Лиза
Александр Соболев: «Тень за правым плечом». Отрывок из романа Александр Соболев: «Тень за правым плечом». Отрывок из романа

Фрагмент из романа о хрупкости бытия «Тень за правым плечом»

СНОБ
Не жук чихнул: почему знаменитости повально начали есть насекомых Не жук чихнул: почему знаменитости повально начали есть насекомых

Как диета из насекомых стала новым мировым трендом?

Правила жизни
Потеют, шелушатся, немеют: диагнозы, которые можно поставить по ладоням Потеют, шелушатся, немеют: диагнозы, которые можно поставить по ладоням

Врач «прочитает» твои кисти рук не хуже профессионального хироманта

Maxim
Домашний курорт Домашний курорт

В этой небольшой квартире сложилось эргономичное, уравновешенное пространство

Идеи Вашего Дома
Близкий пропал без вести: как справиться с болью и неизвестностью Близкий пропал без вести: как справиться с болью и неизвестностью

Как помочь себе, если ваш близкий пропал?

Psychologies
Зоологи обнаружили рекордные скопления финвалов у берегов Антарктического полуострова Зоологи обнаружили рекордные скопления финвалов у берегов Антарктического полуострова

Численность финвалов, которых почти истребили в XX в., начала восстанавливаться

N+1
5 лайфхаков для тех, кто планирует отдохнуть в Узбекистане 5 лайфхаков для тех, кто планирует отдохнуть в Узбекистане

Что стоит посмотреть в Узбекистане и зачем туда ехать?

Maxim
Два десятка «черных курильщиков» предупредили о возможном скором извержении в Тихом океане Два десятка «черных курильщиков» предупредили о возможном скором извержении в Тихом океане

Высокотемпературная гидротермальная система связана с молодым активным разломом

N+1
5 романтичных экранизаций французских романов 5 романтичных экранизаций французских романов

Французские романы, которые послужили основой для отличных экранизаций

СНОБ
Леопард в мире ящериц: в Индии открыли геккона, который использует язык как орган осязания Леопард в мире ящериц: в Индии открыли геккона, который использует язык как орган осязания

Исследователи обнаружили новый вид леопардового геккона

Вокруг света
Корпоративный стокгольмский синдром: почему мы чувствуем себя виноватыми на работе Корпоративный стокгольмский синдром: почему мы чувствуем себя виноватыми на работе

Почему мы попадаем в ловушку корпоративного стокгольмского синдрома?

Psychologies
Катать не перекатать: на чем можно прохватить, если велосипед уже надоел Катать не перекатать: на чем можно прохватить, если велосипед уже надоел

Что же это за джамперы и флоутборды?

ТехИнсайдер
Встань и иди: как не «зависать» в бездействии Встань и иди: как не «зависать» в бездействии

Что делать, как, когда, для чего и какими средствами? Будем искать ответы!

Psychologies
Автомобиль как роскошь: кузова прекрасной эпохи Автомобиль как роскошь: кузова прекрасной эпохи

В XX веке кузова авто строили под заказ, в соответствии с фантазиями клиента

Maxim
Муза автора боится Муза автора боится

«Люся»: Иван Твердовский о природе творчества

Weekend
«Французский язык в России». Социальная, политическая, культурная и литературная история «Французский язык в России». Социальная, политическая, культурная и литературная история

ВXVIII–XIX веке российское дворянство было всерьез увлечено всем французским

N+1
Расслабиться по-настоящему: 7 необходимых типов отдыха Расслабиться по-настоящему: 7 необходимых типов отдыха

Для того, чтобы чувствовать себя отдохнувшими, нам нужны разные виды отдыха

Psychologies
Открыть в приложении