OpenAI впервые за пять лет выпустила языковые модели с открытыми весами
Они поддерживают рассуждения и по производительности приближаются к проприетарным моделям
Компания OpenAI выпустила две текстовые большие языковые модели с открытыми весами под лицензией Apache 2.0: gpt-oss-120b с 117 миллиардами параметров и gpt-oss-20b с 21 миллиардом параметров. Это первый подобный релиз с момента открытия весов модели GPT-2 в 2019 году. Обе модели семейства gpt-oss имеют архитектуру Mixture-of-Experts, контекстное окно 128 тысяч токенов, поддерживают цепочки рассуждений и могут использовать внешние инструменты, например, веб-поиск и исполнение кода Python. По производительности они приближаются к o4-mini, при этом для работы младшей версии достаточно 16 гигабайт оперативной памяти. Об этом сообщается в блоге компании и карточке моделей.
В 2019 году компания OpenAI выпустила большую языковую модель GPT-2, опубликовав ее веса в открытом доступе. Этот шаг, хоть и сопровождался опасениями о возможном злоупотреблении новой технологией, позволил тысячам исследователей по всему миру экспериментировать с новой генеративной моделью и способствовал дальнейшему бурному развитию области. С тех пор компания перешла к стратегии выпуска закрытых моделей, таких как GPT-3 и GPT-4. В то же время конкуренты, в частности Meta (признана экстремистской организацией на территории РФ), DeepSeek, и Alibaba сделали ставку на открытые модели, завоевав популярность среди исследователей и разработчиков.