К 2032 году у человечества закончатся слова для обучения искусственного интеллекта
Исследователи группы Epoch пришли к выводу, что при сегодняшнем росте вычислительных мощностей больших языковых моделей искусственного интеллекта к началу следующего десятилетия закончится публичный контент, созданный человеком. Это приведет к замедлению роста ИИ-моделей и изменению стратегии их обучения.
Люди пишут медленно и мало. ИИ-модели используют для обучения триллионы слов. ИИ-модели растут очень быстро, и такой ресурс, как контент созданный человеком скоро закончится. А вот учиться у самого себя ИИ пока не умеет.
Исследование, опубликованное научной группой Epoch AI, показало, что технологические компании скоро исчерпают запас общедоступных данных для обучения больших языковых моделей, таких так GPT. Это случится между 2026 и 2032 годами.
При сохранении сегодняшних темпов роста мощности вычислений и объеме моделей LLM столкнутся с трудной проблемой: важнейший источник обучения — тексты, созданные людьми, будет исчерпан.
На чем будет учиться ИИ, когда у человека закончатся слова
Что будут делать разработчики ИИ? Выбор не очень большой. Это — конфиденциальные данные, такие как электронная переписка и телефонные разговоры, и «синтетические данные», которые системы ИИ генерируют сами.