SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Президент Венесуэлы Уго Чавес: какую политику вел мужчина и почему в конечном счете она провалилась Президент Венесуэлы Уго Чавес: какую политику вел мужчина и почему в конечном счете она провалилась

Рассказываем о приходе Чавеса к власти и последствиях его президентства

ТехИнсайдер
Алексей Горенский: «Наши выпускники — настоящие таланты» Алексей Горенский: «Наши выпускники — настоящие таланты»

О том, как сейчас создается будущее индустрии гостеприимства

Bones
Как скопировать и вставить таблицу в Экселе Как скопировать и вставить таблицу в Экселе

Как скопировать таблицу в Эксель так, чтобы все осталось на своих местах

CHIP
100 грамм катастрофы: как Винеш Пхогат стала героиней Индии, но все равно проиграла 100 грамм катастрофы: как Винеш Пхогат стала героиней Индии, но все равно проиграла

Винеш Пхогат — первая индийская женщина-борец

Forbes
Мы выбираем друг друга не случайно Мы выбираем друг друга не случайно

Выбор партнера предопределен всем предшествующим ходом нашей жизни

Psychologies
Иоганн Вольфганг фон Гёте: место Иоганн Вольфганг фон Гёте: место

Гёте — классик, романтик, гений эпохи романтизма

Знание – сила
Повышаем обороты Повышаем обороты

Как разогнать метаболизм без спортзала и диет?

Лиза
Нелли Гаранян: «Он говорил: «Я не могу дирижировать голодными музыкантами» Нелли Гаранян: «Он говорил: «Я не могу дирижировать голодными музыкантами»

«Цветов у тебя не будет никогда, но колбасы и всего остального — сколько угодно»

Коллекция. Караван историй
Вернуть в семью: как развод Бакальчук показал отношение общества к выбору женщины Вернуть в семью: как развод Бакальчук показал отношение общества к выбору женщины

Почему взрослую женщину просят вернуть мужу, как расценивать такие призывы?

Forbes
Стоматолог Блюмкин рассказал, какие гаджеты для зубов нужно приобрести каждому Стоматолог Блюмкин рассказал, какие гаджеты для зубов нужно приобрести каждому

Актуальные гаджеты для гигиены полости рта — советует стоматолог

ТехИнсайдер
Будущее из розетки: чего ждать от электромобилей Будущее из розетки: чего ждать от электромобилей

В каком направлении развивается электротранспорт?

ТехИнсайдер
Парадокс Спящей красавицы Парадокс Спящей красавицы

Возможно ли впасть в оцепенение на столетие и потом вернуться к жизни?

Вокруг света
Имел несчастие быть немцем… Имел несчастие быть немцем…

Кто такой был Эрнст Иоганн Бирон и как он был связан с Анной Иоанновной?

Дилетант
Моменты внезапных прозрений позволят «заглянуть» в сознание Моменты внезапных прозрений позволят «заглянуть» в сознание

В моменты «скачков» обучения сознание выражается наиболее полно и глубоко

ТехИнсайдер
Как преодолеть финансовые конфликты в семье: практическое руководство Как преодолеть финансовые конфликты в семье: практическое руководство

Как разрешить финансовые трудности в семье и при этом укрепить свои отношения?

VOICE
Летняя кухня. Идеи обустройства и практичные подсказки для дачников Летняя кухня. Идеи обустройства и практичные подсказки для дачников

Почему так важно позаботиться о правильном устройстве летней кухни

Лиза
«Вам звонят из…» «Вам звонят из…»

Почему мы не можем просто положить трубку, когда звонят мошенники?

Psychologies
Трезвые разговоры в баре: Екатерина Манойло и Михаил Турбин Трезвые разговоры в баре: Екатерина Манойло и Михаил Турбин

Что обсуждают писатели, когда встречаются в баре рано утром?

СНОБ
«Чудовищный эксперимент» Уэнделла Джонсона: как психолог провел жестокий опыт с заиканием на детях-сиротах «Чудовищный эксперимент» Уэнделла Джонсона: как психолог провел жестокий опыт с заиканием на детях-сиротах

История о том, как детская обида и эгоизм покалечили психику сирот

ТехИнсайдер
Иранская борьба – и не борьба вовсе! Иранская борьба – и не борьба вовсе!

Споры о том, чья борьба или какой спорт древнее, ведутся постоянно

Зеркало Мира
Золотой завтрак: как хлопья стали символом успеха для олимпийских чемпионов Золотой завтрак: как хлопья стали символом успеха для олимпийских чемпионов

Почему попасть на коробку хлопьев Wheaties — мечта многих спортсменов

Forbes
Почему нельзя выливать маринад от овощей Почему нельзя выливать маринад от овощей

Что бы ты ни делала, не выливай маринад от овощей в канализацию!

VOICE
«Все есть копия» «Все есть копия»

Как китайцы начинают работать над новым дизайном этого мира

Правила жизни
Женщина из Китая хотела собаку, — а вырастила медведя! Смешная история Женщина из Китая хотела собаку, — а вырастила медведя! Смешная история

Тибетские мастифы — это одна из старейших пород в мире, похожая на медведей

ТехИнсайдер
Минивэны Renault: история и все поколения с фото Минивэны Renault: история и все поколения с фото

Минивэны марки Renault — разбираемся в серии

РБК
Любовь и деньги: на чем зарабатывают девушки самых высокооплачиваемых теннисистов Любовь и деньги: на чем зарабатывают девушки самых высокооплачиваемых теннисистов

Сколько спонсорских контрактов заключают девушки профессиональных теннисистов

Forbes
Парень молодой: лучшие фильмы про холостяков Парень молодой: лучшие фильмы про холостяков

Лучшие фильмы о тех, кто выбрал свободу от отношений

Правила жизни
Топ 10 фильмов про соперничество и соперников Топ 10 фильмов про соперничество и соперников

Фильмы для тех, кто любит наблюдать за напряженными столкновениями соперников

Maxim
Эколог Крейндлин: эти животные будут осенью бросаться под колеса Эколог Крейндлин: эти животные будут осенью бросаться под колеса

Каких животных стоит остерегаться российским водителям осенью?

ТехИнсайдер
Снижение самооценки и панические атаки: чем опасно позитивное мышление Снижение самооценки и панические атаки: чем опасно позитивное мышление

Стоит ли придерживаться позитивного мышления? Отвечает гештальт-терапевт

Psychologies
Открыть в приложении