SSM-модель — что нового она привнесла для мира нейросетей?

ТехИнсайдерHi-Tech

Сможет ли ИИ написать «Войну и мир-2»

Архитектура, разработанная T-Bank AI Research, делает шаг к решению такой масштабной задачи, как эффективная обработка очень длинных контекстов. Добиться такого серьезного продвижения удалось с помощью построения гибридной модели ИИ.

Владимир Губайловский

93bdccc482553ce1d8211fdf9f59daad_ce_1280x854x0x258.jpg
Толстой-ИИ. Midjourney

Революции ИИ продолжается. Но, кажется, время восторгов и безудержного хайпа проходит. Стали видны проблемы. Одна из них — это энергоэффективность. На ИИ работают целые мощные электростанции, а потребности только растут. И не видно, чтобы они стали снижаться. Но есть и другой момент. Уже возникла необходимость ставить ИИ-модели максимально близко к пользователю — и на компьютеры, и на смартфоны. Мощности этих устройств никогда не приблизятся к дата-центрам. А значит надо наращивать эффективность работы самих моделей, и здесь нужны новые решения.

Пока публика рисует картинки и развлекается разговорами с чат-ботами происходит глубокая внутренняя перестройка ИИ-моделей. Революция ИИ во многом началась не в тот момент, когда Microsoft в 2019 году выделила миллиард на развитие OpenAI и ее линейку GPT и дала компании доступ к своим дата-центрам.

Революция началась раньше: когда в 2017 году группа ученых опубликовала статью «Внимание — это все что нужно» («Attention Is All You Need»). После этого и появилась возможность развития с позиции силы: ученые открыли дорогу, по которой можно двигаться, бизнес оценил перспективу и включился по полной. Но не все решается «грубой силой» — простым наращиванием вычислительной мощности. Идеи, которые придумывают люди, все-таки важнее.

В этой статье 2017 года исследователи описали архитектуру трансформера и заявили, что нужен только механизм «внимания», а другие подходы, — рекуррентные и сверточные сети — «не нужны». Трансформер победил. Но исследователи и создатели ИИ, конечно, не забыли ни о рекуррентных, ни о сверточных сетях. Эти архитектуры тоже развивались хотя не и так громко, как трансформер.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья? Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья?

Оказывают ли какой-то эффект палки в скандинавской ходьбе?

ТехИнсайдер
В зоне комфорта В зоне комфорта

Comfort food в России всегда была неразрывна с деревней

Bones
Почему телемедицина в России пока остается нишевым продуктом Почему телемедицина в России пока остается нишевым продуктом

Телемедицина в России: стоит ли записываться на удаленный прием к врачу?

РБК
Отдел замученных поэтесс: самые популярные новые женские музыкальные альбомы Отдел замученных поэтесс: самые популярные новые женские музыкальные альбомы

Женские музыкальные альбомы, которые объединили все новые тренды в поп-музыке

Forbes
Ошибка выжившего: как Москва искажает представление о счастье и бесконечно производит зависть Ошибка выжившего: как Москва искажает представление о счастье и бесконечно производит зависть

Как Москва сделала потребление культом и за сколько счастье можно купить

Правила жизни
Что нужно знать о бензопилах: 16 самых популярных вопросов Что нужно знать о бензопилах: 16 самых популярных вопросов

Как выбрать цепь для бензиновой пилы, можно ли заливать в нее моторное масло

CHIP
Перерыв на обед Перерыв на обед

Несколько доступных вариантов легкого обеда и перекусов в офисе

Лиза
Почему собаки и кошки дергаются во сне Почему собаки и кошки дергаются во сне

Разгадываем сонные тайны наших питомцев

Maxim
Термоэрозия мерзлоты помешает Северному ледовитому океану поглощать углекислый газ Термоэрозия мерзлоты помешает Северному ледовитому океану поглощать углекислый газ

Как таяние многолетней мерзлоты мешает поглощению углекислого газа

N+1
Любовь и деньги: на чем зарабатывают девушки самых высокооплачиваемых теннисистов Любовь и деньги: на чем зарабатывают девушки самых высокооплачиваемых теннисистов

Сколько спонсорских контрактов заключают девушки профессиональных теннисистов

Forbes
Сшить себе свободу: как швейная машина помогала женщинам бороться за свои права Сшить себе свободу: как швейная машина помогала женщинам бороться за свои права

Как в истории швейной машины отражается история женской эмансипации

Forbes
Zventa Sventana: мы часто становимся жертвами плагиата Zventa Sventana: мы часто становимся жертвами плагиата

Разговор о современном фолке — интервью с Zventa Sventana

СНОБ
Как будут развиваться города северо-запада РФ до 2035 года Как будут развиваться города северо-запада РФ до 2035 года

Что такое мастер-планы по развитию и какими они будут для разных городов

ФедералПресс
Однажды в Белом море Однажды в Белом море

Соловки – фантастической красоты природа и наблюдение за белухами

2Xplore
Делай как я: создательница кафе Eggsellent о первых деньгах и покупке «куска пустыни» Делай как я: создательница кафе Eggsellent о первых деньгах и покупке «куска пустыни»

Полина Юрова о том, к чему ее привела мотивация с детства «зарабатывать денежку»

Forbes
Пристрастие родителей к алкоголю может привести к ускоренному старению их детей Пристрастие родителей к алкоголю может привести к ускоренному старению их детей

Что сильнее влияет на способность бороться с болезнями — природа или воспитание?

ТехИнсайдер
Все суета Все суета

Какие предметы использовали художники в качестве символов быстротечности жизни?

Вокруг света
Жестокость, доказавшая потребность в любви: неэтичный эксперимент XX века о детской привязанности Жестокость, доказавшая потребность в любви: неэтичный эксперимент XX века о детской привязанности

Как Гарри Харлоу доказал значимость эмоциональной связи ребенка с родителями

ТехИнсайдер
Перегрелись: зачем останавливать глобальное потепление, если оно уже наступило Перегрелись: зачем останавливать глобальное потепление, если оно уже наступило

О том, как бороться с изменением климата, когда оно уже наступило

Forbes
Как на Дальнем Востоке решают  проблемы кадрового дефицита Как на Дальнем Востоке решают  проблемы кадрового дефицита

Российская экономика активизировалась на азиатском рынке

РБК
Морская граница на замке Морская граница на замке

Почему Береговая охрана Пограничной службы ФСБ должна стать резервом для флота

Обозрение армии и флота
Шеф-повар Роман Киселёв: Более осознанный, индивидуальный подход к питанию — это тренд Шеф-повар Роман Киселёв: Более осознанный, индивидуальный подход к питанию — это тренд

Шеф-повар Роман Киселёв — о здоровом питании и еде будущего

СНОБ
Хайп против сатиры: по-прежнему ли работы Бэнкси стоят внимания Хайп против сатиры: по-прежнему ли работы Бэнкси стоят внимания

Как Бэнкси превращается в Кэти Пэрри в мире стрит-арта

СНОБ
Познать геймдев изнутри: лучшие книжные новинки о компьютерных играх и их создателях Познать геймдев изнутри: лучшие книжные новинки о компьютерных играх и их создателях

Книги о видеоиграх, которые помогут узнать, как создавались культовые вселенные

ТехИнсайдер
Моя попытка номер… Моя попытка номер…

Актеры, которые поступили в театральный вуз не с первого раза

Лиза
Пиво и сыр помогли японским ботаникам уличить пещерных кузнечиков в распространении семян ринхотехума Пиво и сыр помогли японским ботаникам уличить пещерных кузнечиков в распространении семян ринхотехума

Ринхотехум из семейства геснериевых расселяется за счет пещерных кузнечиков

N+1
История развития морских беспилотников. Часть 1 История развития морских беспилотников. Часть 1

Родоначальником морских дронов можно считать кораблик Николы Теслы

Наука и техника
Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках Что вытворяют тарантулы во время стресса и какой вид смертельно опасен для человека: 50 шокирующих фактов о пауках

Пауки не только устрашающе выглядят, но и полны загадок

ТехИнсайдер
Диво дивное Диво дивное

Воронежская область — поля подсолнухов, меловые столбы и водная гладь Дона

Лиза
«Мы повторим Мюнхенскую резню»: как спецслужбы в Париже защищают израильских атлетов «Мы повторим Мюнхенскую резню»: как спецслужбы в Париже защищают израильских атлетов

Как спецслужбы охраняют покой спортсменов из Израиля

Forbes
Открыть в приложении