SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как королевские особы влияли на моду? Посмотрите на примеры королевы Виктории и принцессы Дианы Как королевские особы влияли на моду? Посмотрите на примеры королевы Виктории и принцессы Дианы

Влияние монархов на стиль даже в XXI веке куда глубже, чем кажется

ТехИнсайдер
Николай Горинович: изуродованный революционер, ставший праведником Николай Горинович: изуродованный революционер, ставший праведником

Николай Горинович был революционером, которого пытались убить его же соратники

СНОБ
Дорого и сложно: что тормозит внедрение ИИ в медицину Дорого и сложно: что тормозит внедрение ИИ в медицину

Почему внедрение инноваций в медицине происходит так медленно?

Forbes
Меледá, или девять связанных колец Меледá, или девять связанных колец

Эта головоломка с кольцами, надетыми на шпильку, известна во многих странах

Наука и жизнь
«Средневековье в латах» «Средневековье в латах»

Как умирали и какие раны наносили друг другу средневековые воины

N+1
Не подходи ко мне! Не подходи ко мне!

Если муж раздражает: почему так происходит и что с этим делать

Лиза
Минивэны Renault: история и все поколения с фото Минивэны Renault: история и все поколения с фото

Минивэны марки Renault — разбираемся в серии

РБК
Семейный совет Семейный совет

Что входит в чек-лист фертильности, высоки ли шансы преодолеть мужское бесплодие

Собака.ru
«Вам звонят из…» «Вам звонят из…»

Почему мы не можем просто положить трубку, когда звонят мошенники?

Psychologies
8 удивительных парадоксов, о которых должен знать каждый, кто увлекается психологией 8 удивительных парадоксов, о которых должен знать каждый, кто увлекается психологией

Необычные феномены, которые можно отследить в своих и чужих поступках

Psychologies
Точка опоры Точка опоры

Мифов о позвоночнике сложено немало, разбираем самые живучие из них

Лиза
4 признака, что отправляться в совместное путешествие с человеком не стоит 4 признака, что отправляться в совместное путешествие с человеком не стоит

Иногда стили отдыха даже самых близких людей не совпадают, и это нормально

Psychologies
Как проверить видеокарту на работоспособность: несколько надежных способов Как проверить видеокарту на работоспособность: несколько надежных способов

Какой программой проверить работоспособность видеокарты?

CHIP
Идеальный секс проходит 7 стадий — а у вас нигде нет сбоя? Идеальный секс проходит 7 стадий — а у вас нигде нет сбоя?

Почему может произойти сбой на том или ином из этапов сексуального цикла?

Maxim
Всё будет Y2K Всё будет Y2K

Как появилась эстетика Y2K и причем тут программисты?

ЖАРА Magazine
Фартук, косы, кружева Фартук, косы, кружева

Какой была школьная форма в СССР

Лиза
Сатурн выбросил комету за пределы Солнечной системы Сатурн выбросил комету за пределы Солнечной системы

Комета A117uUD встретилась с Сатурном и теперь улетает из Солнечной системы

ТехИнсайдер
Оттенки кожзама: что такое экокожа и стоит ли приобретать изделия из нее Оттенки кожзама: что такое экокожа и стоит ли приобретать изделия из нее

Экокожа — это про экологию или экономию?

ТехИнсайдер
«Участие бизнеса необходимо  на каждом этапе формирования  кадрового резерва» «Участие бизнеса необходимо  на каждом этапе формирования  кадрового резерва»

О роли бизнеса в создании кадрового потенциала для развития нефтегазовой отрасли

РБК
Сухбат Афлатуни: «Катехон». Фрагмент из романа-головоломки Сухбат Афлатуни: «Катехон». Фрагмент из романа-головоломки

Глава из «Катехона» — истории любви и хроники жизни от Сухбата Афлатуни

СНОБ
Осторожно, очень горячо! Что делать, если телефон перегрелся Осторожно, очень горячо! Что делать, если телефон перегрелся

Как реанимировать смартфон после перегрева?

ТехИнсайдер
Над поверхностью Земли Над поверхностью Земли

Существует целое сообщество людей, которым открыто все небо

2Xplore
10 цитат Энди Уорхола, которые научат вас мыслить как художник 10 цитат Энди Уорхола, которые научат вас мыслить как художник

Энди Уорхол — о жизни, творчестве и любви

Psychologies
Как аккуратно проделать дырку в ремне: 5 сподручных способов Как аккуратно проделать дырку в ремне: 5 сподручных способов

Как быстро и аккуратно проделать новое отверстие в кожаном ремне

ТехИнсайдер
Чем отличается 1 сентября в современных школах от 1 сентября в СССР и России 90-х Чем отличается 1 сентября в современных школах от 1 сентября в СССР и России 90-х

Как в наше время изменился главный детский "праздник" — 1 сентября

Maxim
Какой «Сталкер» самый лучший и интересный: сравним все вышедшие части Какой «Сталкер» самый лучший и интересный: сравним все вышедшие части

Какая часть «Сталкера» самая лучшая и интересная: атмосфера, геймплей и графика

CHIP
Плати и учись Плати и учись

Что нужно знать, подписывая договор о платном образовании

Лиза
Какие люди и почему чаще всего используют слова-паразиты: мнение лингвистов и психологов Какие люди и почему чаще всего используют слова-паразиты: мнение лингвистов и психологов

Почему мы на самом деле используем слова-паразиты?

Psychologies
Вредные советы: 5 способов навсегда остаться матерью-одиночкой Вредные советы: 5 способов навсегда остаться матерью-одиночкой

Какие ошибки совершают одинокие матери, пытаясь наладить личную жизнь?

Psychologies
Что такое адсорбер: из чего состоит и как проверить его работоспособность Что такое адсорбер: из чего состоит и как проверить его работоспособность

Зачем нужен современному автомобилю адсорбер и на что он влияет

РБК
Открыть в приложении