SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Какие были парфюмы в Древней Греции? Узнайте интересные факты! Какие были парфюмы в Древней Греции? Узнайте интересные факты!

Мир ароматов в Древней Греции был куда богаче, чем может показаться

ТехИнсайдер
Влиять или не влиять? Влиять или не влиять?

Тест: свойственно ли вам злоупотреблять доверием окружающих и манипулировать?

Psychologies
На каких самолетах будут летать россияне в ближайшие годы На каких самолетах будут летать россияне в ближайшие годы

Как развивается гражданская авиаотрасль в России

СНОБ
Снижение самооценки и панические атаки: чем опасно позитивное мышление Снижение самооценки и панические атаки: чем опасно позитивное мышление

Стоит ли придерживаться позитивного мышления? Отвечает гештальт-терапевт

Psychologies
«Это ведь не считается!»: 3 неочевидных признака эмоциональной неверности, которые опасно игнорировать «Это ведь не считается!»: 3 неочевидных признака эмоциональной неверности, которые опасно игнорировать

Как понять, что вы вот-вот измените, пусть и не в стандартном понимании?

Psychologies
«Я вечно все порчу»: что такое ограничивающие убеждения и как они влияют на нашу жизнь «Я вечно все порчу»: что такое ограничивающие убеждения и как они влияют на нашу жизнь

Почему возникают ограничивающие убеждения и как с ними справиться?

Psychologies
У кого больше шансов на успешные знакомства и отношения — у собачников или кошатников? У кого больше шансов на успешные знакомства и отношения — у собачников или кошатников?

Кто больше помогает при знакомстве и отношениях — собака или кошка?

Maxim
Жизнь на Земле была сложной уже 2 миллиарда лет назад Жизнь на Земле была сложной уже 2 миллиарда лет назад

Сложные организмы появились не позднее 2,1 миллиарда лет назад

ТехИнсайдер
Сила слабого света Сила слабого света

Чему могут научить «Люди в темные времена» Ханны Арендт

Weekend
Владимир Грамматиков: «Меня всегда узнавали по маленькой роли в «Осеннем марафоне» Владимир Грамматиков: «Меня всегда узнавали по маленькой роли в «Осеннем марафоне»

Я не делаю ничего против собственного желания, причем уже давно

Караван историй
Подо льдами Подо льдами

Плавание подводных лодок подо льдами теперь стало обыденным явлением

Наука и техника
Шпана, гопники, хулиганы: как кинематограф работает с темой «пацанства» Шпана, гопники, хулиганы: как кинематограф работает с темой «пацанства»

Как с темой «пацанства» работает кинематограф и какие этапы эволюции она прошла

Правила жизни
Увидимся в среде Увидимся в среде

Какие идеи лежат в основе современной архитектурной политики мегаполисов

Правила жизни
6 остросюжетных новинок для тех, кто любит пощекотать нервы: триллеры, детективы и тру-крайм 6 остросюжетных новинок для тех, кто любит пощекотать нервы: триллеры, детективы и тру-крайм

Что может быть лучше детектива, сюжет которого захватывает с первых страниц?

Maxim
«Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого «Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого

Как Япония подходит к проблемному разговору о вине и ответственности за прошлое

Forbes
Прогресс не остановить: почему важно развивать искусственный интеллект в смартфонах Прогресс не остановить: почему важно развивать искусственный интеллект в смартфонах

Что предстоит сделать разработчикам, чтобы ИИ совершил рывок в развитии?

Forbes
«Джеймс Уэбб» рассмотрел параллельные джеты у двойной протозвезды в кратной системе «Джеймс Уэбб» рассмотрел параллельные джеты у двойной протозвезды в кратной системе

Одна из протозвезд в системе WL20 на самом деле является парой протозвезд

N+1
Эти рыбы должны создать красивые круги из песка, чтобы привлечь самок! Интересные факты Эти рыбы должны создать красивые круги из песка, чтобы привлечь самок! Интересные факты

Самцы японской рыбы-фугу принимают необычный вызов в брачный период

ТехИнсайдер
Всё будет Y2K Всё будет Y2K

Как появилась эстетика Y2K и причем тут программисты?

ЖАРА Magazine
Держись подальше. 7 признаков токсичного партнера Держись подальше. 7 признаков токсичного партнера

Как вычислить токсичного партнера по определенным признакам в поведении

Лиза
Смышленый и не малый. Тест-драйв нового Haval F7 Смышленый и не малый. Тест-драйв нового Haval F7

Чем удивил на тест-драйве новый Haval F7 и сколько он стоит

РБК
Пора лезть на стену Пора лезть на стену

Паркур от первого лица

Men Today
5 типов алкоголиков: к какому можно отнести вас? 5 типов алкоголиков: к какому можно отнести вас?

Наркологи распределили выпивающих людей на несколько групп

Psychologies
Я себя сделала сама: как женщины доказали, что они тоже могут быть self-made Я себя сделала сама: как женщины доказали, что они тоже могут быть self-made

Как понятие self-made помогает женщинам заявлять о себе

Forbes
Вопрос времени Вопрос времени

Чем прошлое отличается от будущего и почему время течет в одном направлении?

Вокруг света
FIgure представила робота-гуманоида второго поколения FIgure представила робота-гуманоида второго поколения

У нового робота FIgure  кисти рук с шестнадцатью степенями свободы

N+1
5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги 5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги

Неочевидные моменты, которые следует учитывать, арендуя автомобиль

Maxim
Ученый Горелов рассказал, как найти утечки тепла в доме Ученый Горелов рассказал, как найти утечки тепла в доме

Есть ли польза от бесконтактного термометра, где искать «мостики холода»?

ТехИнсайдер
Виктор Ерофеев — про Экзюпери, Олимпиаду в Париже и русскую культуру с одышкой Виктор Ерофеев — про Экзюпери, Олимпиаду в Париже и русскую культуру с одышкой

Писатель Виктор Ерофеев — о жизни как служении

СНОБ
Древнего дюгоня покусали акулы и крокодил Древнего дюгоня покусали акулы и крокодил

Палеонтологи описали остатки вымершего дюгоня из рода Culebratherium

N+1
Открыть в приложении