SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Больше не колется: 5 способов сделать льняную одежду мягче Больше не колется: 5 способов сделать льняную одежду мягче

Как сделать льняные вещи мягче и избавиться от неприятных ощущений

ТехИнсайдер
Версия для печати: скоро ли 3D-принтеры соберут человека по частям Версия для печати: скоро ли 3D-принтеры соберут человека по частям

Первые пациенты с 3D-имплантатами уже живут среди нас

Forbes
«Огонь-батареи»: как изменились космические солнечные батареи за 67 лет «Огонь-батареи»: как изменились космические солнечные батареи за 67 лет

Какой путь прошли солнечные элементы космического типа с момента изобретения?

ТехИнсайдер
Секс — мощное оружие маркетинга: жесткая диктатура длинных ног и коротких половых связей Секс — мощное оружие маркетинга: жесткая диктатура длинных ног и коротких половых связей

Почему быть сексуальным и иметь половую жизнь — это показатель престижа?

Psychologies
Как правильно ехать по серпантину: ПДД для водителей Как правильно ехать по серпантину: ПДД для водителей

Как безопасно передвигаться по серпантину?

РБК
«Что делать женщине, если…» «Что делать женщине, если…»

Совсем скоро в Okko стартует новый сезон сериала «Что делать женщине, если…»

OK!
Рыбалка изменила поведение сендеронгов в период спаривания Рыбалка изменила поведение сендеронгов в период спаривания

Ученые наблюдали за поведением самцов сендеронгов в период спаривания

N+1
Миры со звездами, где звезд две и больше двух Миры со звездами, где звезд две и больше двух

Двойных и тройных звезд гораздо больше, чем одиноких

Зеркало Мира
Дарья и Александра Соломины: «Чем старше он становился, тем чаще возвращался к своему читинскому детству» Дарья и Александра Соломины: «Чем старше он становился, тем чаще возвращался к своему читинскому детству»

Юрий Мефодьевич никогда не вел себя как звезда

Караван историй
«Обыкновенные убийцы: Как система превращает обычных людей в монстров» «Обыкновенные убийцы: Как система превращает обычных людей в монстров»

Почему немецкие солдаты редко испытывали стресс из-за убийства евреев

N+1
«Нимб и крест: как читать русские иконы» «Нимб и крест: как читать русские иконы»

Как хорошо средневековый человек ориентировался в иконографии

N+1
Бесчеловечный флот Америки Бесчеловечный флот Америки

Основные программы в области создания надводных роботизированных систем ВМС США

Обозрение армии и флота
Пять минут позора: как подготовиться к интервью на английском и перестать бояться Пять минут позора: как подготовиться к интервью на английском и перестать бояться

Как успешно пройти интервью, даже если ваш английский пока далек от идеала?

Forbes
Можно ли мыть фрукты и овощи в посудомоечной машине Можно ли мыть фрукты и овощи в посудомоечной машине

Стоит ли следовать лайфхакам из интернета и мыть фрукты в посудомоечной машине?

ТехИнсайдер
Как появилась любовь с точки зрения эволюции: мнение биолога Ирины Якутенко Как появилась любовь с точки зрения эволюции: мнение биолога Ирины Якутенко

Как природа помогает парам укреплять связь?

Psychologies
Горячие источники, диета, икигай и цигун: главные секреты японского долголетия Горячие источники, диета, икигай и цигун: главные секреты японского долголетия

Что помогает японцам оставаться активными в зрелом возрасте?

Forbes
Ветер с Юга дул Ветер с Юга дул

Краткая история «Унесенных ветром» в 50 пунктах

Weekend
Медиатор: кто это и чем занимается Медиатор: кто это и чем занимается

В каких ситуациях медиатор незаменим и чем он отличается от психолога?

Psychologies
Ворон, клоун, криминальный авторитет: 10 лучших ролей Билла Скарсгарда Ворон, клоун, криминальный авторитет: 10 лучших ролей Билла Скарсгарда

Экранная эволюция актера Билла Скарсгарда на примере его лучших ролей

Правила жизни
Помнить все! Помнить все!

7 привычек, которые помогут снизить риск деменции

Лиза
Древесину липы случайно превратили в суперчерный материал Древесину липы случайно превратили в суперчерный материал

Материаловеды случайно превратили древесину липы в суперчерный материал

N+1
Невидимая угроза: привычки, которые портят ваше зрение Невидимая угроза: привычки, которые портят ваше зрение

От чего именно садится зрение?

ТехИнсайдер
«Идущая впереди»: как художница Кэролайн Уэлдон защищала права индейцев севера «Идущая впереди»: как художница Кэролайн Уэлдон защищала права индейцев севера

Как художница-эмигрантка стала секретарем вождя

Forbes
Опорная схема: что привлекает инвестиции в региональную промышленность Опорная схема: что привлекает инвестиции в региональную промышленность

Что становится основными факторами роста промышленности в регионах

РБК
Фиаско Илона Маска Фиаско Илона Маска

Почему не сработала идея вакуумного транспорта – гиперлупа?

ТехИнсайдер
5 секретов для достижения любой цели 5 секретов для достижения любой цели

Успех начинания, каким бы оно ни было, зависит от пяти элементов благополучия

Psychologies
9 последствий парентификации, которые неминуемо отражаются на женской психике 9 последствий парентификации, которые неминуемо отражаются на женской психике

Как меняется поведение дочерей, ставших жертвами парентификации?

Psychologies
Двигатель Renault К4М: описание и характеристики Двигатель Renault К4М: описание и характеристики

Все о двигателе K4M: надежность, особенности, характеристики

РБК
Ощущение вкуса Ощущение вкуса

На что мы смотрим, когда выбираем блюдо или напиток?

Bones
Графомания или смерть Графомания или смерть

Что вынуждает ученых публиковать так много статей

N+1
Открыть в приложении