SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Госпожа Джулия Тофана: как средневековая «королева ядов» погубила 600 человек Госпожа Джулия Тофана: как средневековая «королева ядов» погубила 600 человек

Госпожа Тофана — общее название для отравительниц XVII века

ТехИнсайдер
«Архипелаг 2024»: главные инновации «Архипелаг 2024»: главные инновации

В Сахалинской области прошел проектно-образовательный интенсив «Архипелаг 2024»

ФедералПресс
Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков Поменяйте настройки в телевизоре, чтобы смотреть фильмы с удовольствием! Список лайфхаков

Настроить телевизор правильно — проще, чем кажется

ТехИнсайдер
Чем съемка Игр в Париже отличалась от съемки Олимпиады в Сочи — рассказывает Андрей Болтенко Чем съемка Игр в Париже отличалась от съемки Олимпиады в Сочи — рассказывает Андрей Болтенко

Почему парижское открытие Игр и революционное, и «жульническое» одновременно

СНОБ
Два месяца под землей без света и общения с людьми: эксперимент Мишеля Сифра Два месяца под землей без света и общения с людьми: эксперимент Мишеля Сифра

Как проходил эксперимент Мишеля Сифра и к каким он пришел выводам

ТехИнсайдер
Женские секреты. Неудобные вопросы гинекологу, которые многие стесняются задать Женские секреты. Неудобные вопросы гинекологу, которые многие стесняются задать

Самые распространенные деликатные проблемы, которые волнуют женщин

Лиза
Экспресс-диагностика Экспресс-диагностика

Простые тесты, которые помогут оценить здоровье и физическую форму

Лиза
Правда ли, что волосы на самом деле мертвые: 11 любопытных фактов о нашей шевелюре Правда ли, что волосы на самом деле мертвые: 11 любопытных фактов о нашей шевелюре

Мы стараемся тщательно ухаживать за волосами, но так мало о них знаем

ТехИнсайдер
Что такое адсорбер: из чего состоит и как проверить его работоспособность Что такое адсорбер: из чего состоит и как проверить его работоспособность

Зачем нужен современному автомобилю адсорбер и на что он влияет

РБК
По следам мореплавателя По следам мореплавателя

Остров Беринга не оставляет привычных критериев для оценки действительности

2Xplore
Помнить все! Помнить все!

7 привычек, которые помогут снизить риск деменции

Лиза
Сад против времени. В поисках рая для всех Сад против времени. В поисках рая для всех

Глава из сборника Оливии Лэнг «Сад против времени. В поисках рая для всех»

Правила жизни
Сшить себе свободу: как швейная машина помогала женщинам бороться за свои права Сшить себе свободу: как швейная машина помогала женщинам бороться за свои права

Как в истории швейной машины отражается история женской эмансипации

Forbes
Сколько зарабатывает дальнобойщик и как им стать Сколько зарабатывает дальнобойщик и как им стать

Как стать дальнобойщиком и сколько он зарабатывает, выяснил Autonews.ru

РБК
Математика в реальной жизни: как транспортные модели помогают избавляться от пробок и строить новые маршруты Математика в реальной жизни: как транспортные модели помогают избавляться от пробок и строить новые маршруты

О том, как создаются транспортные модели и как они работают

ТехИнсайдер
Вопрос века Вопрос века

Как правильно ухаживать за кожей вокруг глаз, чтобы не было «вековых» проблем?

Лиза
Скажем истерике «нет» Скажем истерике «нет»

Как реагировать на детскую истерику?

Лиза
«Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании» «Швабе» о человеческом капитале: «От нашей работы с людьми зависит успех компании»

О том, как с непростой ситуацией кадрового голода справляется холдинг «Швабе»

ФедералПресс
Равноправие, инклюзия, справедливость: словарь гендерного равенства Равноправие, инклюзия, справедливость: словарь гендерного равенства

Чем разнообразие отличается от инклюзии, а равноправие — от равенства?

Forbes
Выгорела, но не могу остановиться: почему мы продолжаем пахать, даже если сил больше нет Выгорела, но не могу остановиться: почему мы продолжаем пахать, даже если сил больше нет

Почему наш внутренний супергерой продолжает спасать мир наизнос?

Psychologies
Вопрос психологу: как стресс влияет на принятие решений? Вопрос психологу: как стресс влияет на принятие решений?

Какое влияние стресс оказывает на мышление и поведение?

Правила жизни
10 лучших новых сериалов, которые должен посмотреть каждый. Выбор читателей «Правил жизни» 10 лучших новых сериалов, которые должен посмотреть каждый. Выбор читателей «Правил жизни»

Подборка сериалов, в которой каждый найдет что-то для себя

Правила жизни
Кроссовер для правильного отпуска: тест-драйв Geely Atlas Кроссовер для правильного отпуска: тест-драйв Geely Atlas

Geely Atlas: кроссовер, в котором радует всё

ТехИнсайдер
Яйца: со Cветлой Пaсхoй! Яйца: со Cветлой Пaсхoй!

Обычай раскрашивать и дарить яйца на Пасху еще более древний, чем сам праздник

КАНТРИ Русская азбука
Касторовое масло топит жир или нет: популярный тренд в TikTok Касторовое масло топит жир или нет: популярный тренд в TikTok

Следуя трендам: поможет ли касторовое масло избавиться от жира на животе?

ТехИнсайдер
Рис, майонез и еще 3 продукта, которые можно использовать во время уборки Рис, майонез и еще 3 продукта, которые можно использовать во время уборки

Какие продукты для уборки подойдут не хуже, чем чистящие спреи и губки

VOICE
Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов Растение, творящее чудеса! Как использовали мяту на Руси, зачем ею натирали столы в Риме и еще 10 занимательных фактов

Душистая мята с давних времен имеет широкое практическое применение

ТехИнсайдер
50 cent, Леди Гага и другие звезды отказываются от секса: почему они это делают? 50 cent, Леди Гага и другие звезды отказываются от секса: почему они это делают?

Может ли отказ от секса изменить вашу жизнь к лучшему?

Psychologies
Как на Дальнем Востоке решают  проблемы кадрового дефицита Как на Дальнем Востоке решают  проблемы кадрового дефицита

Российская экономика активизировалась на азиатском рынке

РБК
Джордж Оруэлл и саморазвитие! Посмотрите, какие 7 книг советовал основатель Apple Стив Джобс Джордж Оруэлл и саморазвитие! Посмотрите, какие 7 книг советовал основатель Apple Стив Джобс

Стив Джобс и его литературные рекомендации: философия и взгляды на жизнь

ТехИнсайдер
Открыть в приложении