SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Ирригатор или зубная нить: что лучше для гигиены зубов? Ирригатор или зубная нить: что лучше для гигиены зубов?

Зубная нить и ирригатор: нужно ли усложнять свою рутину ухода за зубами?

ТехИнсайдер
5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги 5 правил аренды автомобиля в отпуске, чтобы не попасть на деньги

Неочевидные моменты, которые следует учитывать, арендуя автомобиль

Maxim
На зарядку становись: как развиваются инфраструктурные технологии для электромобилей На зарядку становись: как развиваются инфраструктурные технологии для электромобилей

Как инфраструктура для электромобилей способна изменить рынок

Forbes
Неистовая Фанни. Драма террористки, покусившейся на вождя Неистовая Фанни. Драма террористки, покусившейся на вождя

О том, как любовная драма превратила наивную девушку Фанни Каплан в террористку

СНОБ
«Теперь лето, и прелестное лето, и я ошалеваю от радости плотской жизни» «Теперь лето, и прелестное лето, и я ошалеваю от радости плотской жизни»

Великие о том, как они проводили каникулы

Weekend
«Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого «Понадобилось 60 лет»: как Япония осмысливает военные преступления прошлого

Как Япония подходит к проблемному разговору о вине и ответственности за прошлое

Forbes
Почему для женщин наличие секса важнее, чем для мужчин: необычное исследование ученых Почему для женщин наличие секса важнее, чем для мужчин: необычное исследование ученых

Как секс влияет на здоровье женщин?

Psychologies
Вредные советы: 5 способов навсегда остаться матерью-одиночкой Вредные советы: 5 способов навсегда остаться матерью-одиночкой

Какие ошибки совершают одинокие матери, пытаясь наладить личную жизнь?

Psychologies
Царство покоя Царство покоя

7 интерьерных секретов, которые помогут быстрее засыпать

Лиза
Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй! Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй!

Правда ли, что некоторые культуры жестикулируют больше, чем другие?

ТехИнсайдер
Спорт — наш: как сериал Евгения Стычкина «Игры» рассказывает об Олимпиаде-80 Спорт — наш: как сериал Евгения Стычкина «Игры» рассказывает об Олимпиаде-80

Сериал «Игры»: амбивалентная история об Олимпиаде-80

Forbes
Как быть: почему творческие профессии становятся востребованнее технических? Как быть: почему творческие профессии становятся востребованнее технических?

На кого идти учиться сейчас, чтобы быть востребованным в творческой индустрии?

Правила жизни
Американский психолог создал настольную игру «Публикуйся или умри» Американский психолог создал настольную игру «Публикуйся или умри»

Как настольная игра может помочь аспирантам справиться с выгоранием

N+1
Идеальный секс проходит 7 стадий — а у вас нигде нет сбоя? Идеальный секс проходит 7 стадий — а у вас нигде нет сбоя?

Почему может произойти сбой на том или ином из этапов сексуального цикла?

Maxim
Биоритмы: что это такое, на что влияют, как наладить Биоритмы: что это такое, на что влияют, как наладить

Учимся быть чуткими к биологическим часам и разбираемся, как наладить режим

РБК
«Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма «Как я разденусь?»: 8 неочевидных причин, которые мешают достичь оргазма

Что мешает вам получать удовольствие от близости с любимым человеком?

Psychologies
Шпана, гопники, хулиганы: как кинематограф работает с темой «пацанства» Шпана, гопники, хулиганы: как кинематограф работает с темой «пацанства»

Как с темой «пацанства» работает кинематограф и какие этапы эволюции она прошла

Правила жизни
Открой глаза. Пластический хирург разбирает популярные мифы о блефаропластике Открой глаза. Пластический хирург разбирает популярные мифы о блефаропластике

Правда ли, что результат от блефаропластики не сохраняется навсегда?

Лиза
Ингибирование гистондеацетилазы 3 улучшило реконсолидацию памяти у старых мышей Ингибирование гистондеацетилазы 3 улучшило реконсолидацию памяти у старых мышей

Фермент гистондеацетилаза 3 участвует в реконсолидации памяти

N+1
Что такое «фанфляция», или почему у вас так мало денег на банковской карте Что такое «фанфляция», или почему у вас так мало денег на банковской карте

«Фанфляция» — на чем строится современная культура потребления

Psychologies
Евгений Добаев: «Наш искусственный интеллект будет сильнее хакерского» Евгений Добаев: «Наш искусственный интеллект будет сильнее хакерского»

Уровень киберзащищенности организаций растет, но не так быстро, как хотелось бы

РБК
Логотип личности Логотип личности

Как дизайн трех знаменитых российских логотипов менялся вместе со страной

Правила жизни
7 суровых автодомов, сделанных российскими умельцами 7 суровых автодомов, сделанных российскими умельцами

Российские автодома с суровым вайбом

Maxim
Плати и учись Плати и учись

Что нужно знать, подписывая договор о платном образовании

Лиза
Не только смартфон Не только смартфон

Полезные гаджеты и лучшие приложения для учебы

Лиза
«Завышенная цена стала рыночной»: почему дорожает аренда элитной недвижимости «Завышенная цена стала рыночной»: почему дорожает аренда элитной недвижимости

С чем связан рост арендных ставок на элитное жилье в Москве

СНОБ
Топ-6 мифов о яхтинге в России Топ-6 мифов о яхтинге в России

Развенчиваем главные заблуждения о способе совместить приятное с роскошным

Maxim
Разворот с Запада на Юго-Восток Разворот с Запада на Юго-Восток

О создании комплексной системы и развитии аграрной грузовой логистики

Агроинвестор
Коллекционер Антон Козлов: На картине можно изображать любую крамолу Коллекционер Антон Козлов: На картине можно изображать любую крамолу

Коллекционер Антон Козлов — про табу в современном искусстве и страхе перед ним

СНОБ
Кроссовер для правильного отпуска: тест-драйв Geely Atlas Кроссовер для правильного отпуска: тест-драйв Geely Atlas

Geely Atlas: кроссовер, в котором радует всё

ТехИнсайдер
Открыть в приложении