SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему в некоторых озерах вода розового цвета? Почему в некоторых озерах вода розового цвета?

Почему по всему миру можно найти розовые озера?

ТехИнсайдер
Грипповой эксперимент Грипповой эксперимент

«Идеальный лжец»: карантин и классовые отношения

Weekend
Как подключить и заменить праймер на бензопиле — простая инструкция Как подключить и заменить праймер на бензопиле — простая инструкция

Инструкция, как заменить праймер на бензопиле

CHIP
Автоэксперт Пономарев рассказал, как проверить наличие фреона в автокондиционере Автоэксперт Пономарев рассказал, как проверить наличие фреона в автокондиционере

Как правильно обращаться с кондиционером, чтобы продлить его ресурс?

ТехИнсайдер
Инфекционный след: что вызывает болезнь Альцгеймера и зачем нужен когнитивный резерв Инфекционный след: что вызывает болезнь Альцгеймера и зачем нужен когнитивный резерв

О вероятных причинах и механизмах развития болезни Альцгеймера

Forbes
Как поймать северное сияние и сфотографировать его: по этим 4 шагам даже школьник сделает классные снимки Как поймать северное сияние и сфотографировать его: по этим 4 шагам даже школьник сделает классные снимки

Как, наконец, увидеть это злосчастное сияние?!

ТехИнсайдер
«Карту замены ПО полезно выстраивать  как минимум на десять лет» «Карту замены ПО полезно выстраивать  как минимум на десять лет»

Александр Сафиулин о переходе российских компаний на новые цифровые решения

РБК
Вредные советы из СССР Вредные советы из СССР

8 кулинарных лайфхаков, которым не стоит следовать

Лиза
Играет с огнем Играет с огнем

Евгений Стычкин: сам себе режиссер и всем папа

Men Today
Сезонные работы Сезонные работы

Каким должен быть уход за кожей после лета?

Лиза
Единственно правильная закуска к виски Единственно правильная закуска к виски

Кто сказал, что виски не закусывают?

Maxim
«Делай как я хочу» «Делай как я хочу»

Как не попасть под нежелательное воздействие и эмоциональные ловушки?

Psychologies
«Криминальный гардероб: особенности девиантного костюма» «Криминальный гардероб: особенности девиантного костюма»

Как одеваются японские бунтарки

N+1
«Самый популярный запрос — перевод денег из России» «Самый популярный запрос — перевод денег из России»

О юридических и организационных сложностях при репатриации в Израиль

РБК
Как табачные компании приучили женщин курить через идеи феминизма Как табачные компании приучили женщин курить через идеи феминизма

Как капитализм благими намерениями приучил женщин курить

Maxim
5 главных трикстеров из мира кино 5 главных трикстеров из мира кино

Самые яркие примеры архетипов трикстера из кино

Psychologies
«Кукушка»: боди-хоррор о репродуктивном насилии на альпийском курорте «Кукушка»: боди-хоррор о репродуктивном насилии на альпийском курорте

Как действительно жуткий фильм осмысляет проблему репродуктивного насилия

Forbes
Трезвые разговоры в баре: Екатерина Манойло и Михаил Турбин Трезвые разговоры в баре: Екатерина Манойло и Михаил Турбин

Что обсуждают писатели, когда встречаются в баре рано утром?

СНОБ
Zventa Sventana: мы часто становимся жертвами плагиата Zventa Sventana: мы часто становимся жертвами плагиата

Разговор о современном фолке — интервью с Zventa Sventana

СНОБ
Как безопасно провести важный разговор: 7 шагов Как безопасно провести важный разговор: 7 шагов

Что делать с нарушенными обещаниями, обманутыми ожиданиями?

Psychologies
Куда уходит сказка, или Санта Клаус раздора Куда уходит сказка, или Санта Клаус раздора

Западный мир сходит сума, а Санта Клаус отправляется на «свалку истории»

Зеркало Мира
Новая жизнь Новая жизнь

Вилла в Сочи с интерьером вне времени

SALON-Interior
Думать — больно? Западные эксперты рассказали, как сознательно снизить уровень стресса Думать — больно? Западные эксперты рассказали, как сознательно снизить уровень стресса

Мышление может причинять боль? Вот как это объясняют специалисты!

ТехИнсайдер
Фиаско Илона Маска Фиаско Илона Маска

Почему не сработала идея вакуумного транспорта – гиперлупа?

ТехИнсайдер
Как формируется мнение человека о самом себе. Отрывок из книги психиатра Как формируется мнение человека о самом себе. Отрывок из книги психиатра

Отрывок из книги психиатра и нейробиолога Грегори Бернса «Иллюзия себя»

СНОБ
«Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов «Я больше не боюсь»: как Симона Байлз боролась, побеждала и снимала президентов

История спортсменки, которая прошла через нищету, насилие и проблемы с психикой

Forbes
Какой «Сталкер» самый лучший и интересный: сравним все вышедшие части Какой «Сталкер» самый лучший и интересный: сравним все вышедшие части

Какая часть «Сталкера» самая лучшая и интересная: атмосфера, геймплей и графика

CHIP
Не только привлечение внимания: 9 причин, почему взрослые устраивают истерики Не только привлечение внимания: 9 причин, почему взрослые устраивают истерики

Почему взрослые устраивают истерики и как правильно на это реагировать?

Psychologies
9 привычек бестактных свекровей, которые портят жизнь молодым 9 привычек бестактных свекровей, которые портят жизнь молодым

Что раздражает молодых супругов в поведение их родителей?

Psychologies
Остерегаться в лесу: ученый назвал самые опасные дикие растения России Остерегаться в лесу: ученый назвал самые опасные дикие растения России

Что нужно учитывать при заготовке травяных сборов

ТехИнсайдер
Открыть в приложении