Сила слова
«Искусственный интеллект нужен человеку, чтобы делать полезную для всех работу, не требующую специального образования, – сообщил нам искусственный интеллект ruGPT-3: это всегда были низкооплачиваемые работы на заводах, заводах-лабораториях, а теперь они идут в сфере услуг – таких, как дизайн, работа с электронной почтой» – высказывания нейросети не всегда последовательны и ясны, но уже не слишком отличаются от обычной речи. Мы даже сохранили «авторскую» пунктуацию.
Написание новых текстов, определение смысла фраз, автоматическое создание эссе на заданную тему – ИИ уже вплотную подобрался к областям, которые всегда считались прерогативой человека.
Произошло это буквально на наших глазах. В 2020–2021 годах нейросети стали по-настоящему огромными – например, GPT-3 компании OpenAI, одна из самых больших в мире, насчитывает 175 млрд параметров, а ее обучение английскому языку потребовало 1000 петафлопс-дней.
Все эти ресурсы израсходованы не впустую: нейросеть продемонстрировала способности к написанию длинных осмысленных текстов, программного кода и писем, к созданию элементов сайтов и веб-дизайну. Такой качественный рывок оказался возможным благодаря не только огромным вычислительным мощностям, но и концепции, которая называется...
...Предобучение
Основная задача машинного обучения – моделирование явлений физического мира, включая человеческие интеллектуальные способности: язык, логику, зрение и т.д. Чтобы обучить этому нейросеть, ей необходимо предоставить множество данных, в которых эти явления отслеживаются. По-настоящему сложные задачи, такие как целеполагание или принятие решений, требуют информации из самых разных источников и в самых разных форматах.
Фундаментальные модели – большие нейросетевые архитектуры, готовые для переиспользования на разных задачах. Это понятие появилось совсем недавно, в опубликованном в 2021 году отчете Стэнфордского института человекоцентрического ИИ (HAI).
Авторы доклада выделили три стадии развития методов подготовки нейросетей: машинное обучение, глубокое обучение и фундаментальные модели. Сегодня большинство систем ИИ основаны на машинном обучении, такие модели готовятся на базе информации о прошлом и используются для предсказания будущего.
Расцвет подобных технологий датируется еще 1980-ми – именно тогда получили распространение системы, которые сами находят закономерности в исходных данных. Примерно к 2010 году стали популярными методы глубокого обучения. Повышение мощности и снижение стоимости вычислений позволило нейросетям оперировать большими объемами информации, тренироваться на необработанных входных данных и выделять в них высокоуровневые признаки – скажем, распознавать объекты на картинке.