SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Танк на трех колесах: как советские журналисты тестировали мотоцикл-вездеход «Днепр-12» Танк на трех колесах: как советские журналисты тестировали мотоцикл-вездеход «Днепр-12»

Инсайты про «знаменитое советское качество» и особенности вождения «Днепр-12»

ТехИнсайдер
Думать — больно? Западные эксперты рассказали, как сознательно снизить уровень стресса Думать — больно? Западные эксперты рассказали, как сознательно снизить уровень стресса

Мышление может причинять боль? Вот как это объясняют специалисты!

ТехИнсайдер
Опыт майнера: как облачный стартап CoreWeave зарабатывает на нейросетях Опыт майнера: как облачный стартап CoreWeave зарабатывает на нейросетях

Как предпринимателям обеспечить растущий спрос на энергоемкую инфраструктуру

Forbes
«Тренд – опасное слово» «Тренд – опасное слово»

Дизайнер Наталья Белоногова — о том, как превратить ресторан в театральную сцену

Правила жизни
Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой) Как быстро возбудить девушку: 12 способов (гид, который стоит держать под рукой)

Не знаете, как быстро возбудить девушку до предела? Вы по адресу!

Playboy
6 книг о сексе в современном мире 6 книг о сексе в современном мире

Книги, которые помогут взглянуть на сексуальность с разных точек зрения

Psychologies
Эта кукла напугала американцев! Узнайте историю игрушки «с паранормальными способностями» Эта кукла напугала американцев! Узнайте историю игрушки «с паранормальными способностями»

Почему людям страшно находиться рядом с этой куклой?

ТехИнсайдер
Сербская литиевая драма Сербская литиевая драма

Руководство Сербии дало добро на разработку крупного месторождения лития

Монокль
Синдром Адели: что это простыми словами Синдром Адели: что это простыми словами

Иногда симпатия может перерастать в одержимость: что такое синдром Адели

Psychologies
Что такое инвалидизация в психологии: как (не) поддерживать в другом роль жертвы Что такое инвалидизация в психологии: как (не) поддерживать в другом роль жертвы

О механизме инвалидизации — о том, что неуместная помощь может приносить вред

Psychologies
Замедление Гольфстрима может привести к похолоданию в северной Европе Замедление Гольфстрима может привести к похолоданию в северной Европе

Изменения Гольфстриме могут привести к серьезному снижению температуры в Европе

ТехИнсайдер
Сколько можно пить за рулем в разных странах Сколько можно пить за рулем в разных странах

Где вообще нельзя, а где можно немного выпить за рулем?

Maxim
Я — сноб: теннисистка Надежда Петрова Я — сноб: теннисистка Надежда Петрова

Теннисистка Надежда Петрова — о ритуале пуджа на реке Ганг и запахе кофе

СНОБ
Худеем по науке Худеем по науке

Какие гормоны отвечают за вес и как похудеть в случае гормонального дисбаланса

Лиза
«Делай как я хочу» «Делай как я хочу»

Как не попасть под нежелательное воздействие и эмоциональные ловушки?

Psychologies
«Услужливая диктатура» и крупный капитал: 12 лет вместе «Услужливая диктатура» и крупный капитал: 12 лет вместе

Отношения германского национал-социализма и крупного капитала были не простыми

Дилетант
3 показателя того, что вы имеете дело с мастером манипуляций 3 показателя того, что вы имеете дело с мастером манипуляций

Распознать мастера манипуляций нелегко, но возможно

Psychologies
5 правил, как сделать тренировку на улице комфортной 5 правил, как сделать тренировку на улице комфортной

Что нужно учитывать, если вы собираетесь тренироваться на улице?

Maxim
Аннигиляция в вопросах и ответах Аннигиляция в вопросах и ответах

Что такое аннигиляция?

Наука и жизнь
На помощь придут антиоксиданты На помощь придут антиоксиданты

Что поможет восполнить недостаток антиоксидантов?

Здоровье
«Свободная Франция» против Виши «Свободная Франция» против Виши

Как почтовые марки стали одним орудием борьбы «Свободной Франции» и режима Виши

Дилетант
Самцы белощекой казарки посидели на гнездах в отсутствие самок Самцы белощекой казарки посидели на гнездах в отсутствие самок

Некоторые самцы казарки садились на гнезда, когда самки временно покидали их

N+1
Чужой, Годзилла, Саурон: в честь кого теперь называют животных Чужой, Годзилла, Саурон: в честь кого теперь называют животных

Новые имена в биологии, которые отсылают к персоналиям или поп-культуре

Наука и техника
Ёжики в томатном соусе Ёжики в томатном соусе

Если вы думали, что ёжики – это не от хорошей жизни, смеем вас в этом разуверить

КАНТРИ Русская азбука
5 дискомфортных фильмов, которые вскрывают психологические травмы 5 дискомфортных фильмов, которые вскрывают психологические травмы

Знаковые фильмы о травмирующем опыте, спрятанном в оболочке хоррора

Psychologies
Как погибли и воскресли реки Европы – и при чем здесь Олимпийские игры 2024 Как погибли и воскресли реки Европы – и при чем здесь Олимпийские игры 2024

Какой вода была раньше в Сене и других реках Европы

ТехИнсайдер
Альцгеймер в сахаре Альцгеймер в сахаре

Как ученые связывают болезнь Альцгеймера и сахарный диабет?

Наука
Почему Toyota Crown Signia считается лучшим универсальным автомобилем? Почему Toyota Crown Signia считается лучшим универсальным автомобилем?

Toyota выпустила «мастера на все руки», не имеющего конкретной специализации

4x4 Club
Руины поэзии Руины поэзии

Петр Белый: гражданственный формализм

Weekend
Из газеты в Белый дом: как Жаклин Кеннеди помогла мужу стать президентом Из газеты в Белый дом: как Жаклин Кеннеди помогла мужу стать президентом

Какой была первая леди, которая запомнилась миру не меньше, чем ее муж-президент

Forbes
Открыть в приложении