Нейросеть — это программа, поведение которой определяется коэффициентами

Цифровой океанHi-Tech

Темная лошадка

Текст: Екатерина Пономаренко

* Language Processing Unit, или языковой процессор. Предназначен для обсчета языковых моделей, например GPT-4.

Как работает языковая модель

Играть на фортепиано очень просто: надо лишь нажимать на нужные клавиши в нужный момент. Так и с искусственным интеллектом: нужно всего-то выполнить нужные преобразования с нужными коэффициентами.

Нейросеть — это компьютерная программа, поведение которой определяется значениями ряда числовых параметров (их также называют коэффициентами). Коэффициентов в современных моделях ИИ невероятно много. Их число измеряется миллиардами, а в последней версии GPT-4 количество коэффициентов достигает 1,76 триллиона. Разработчик ИИ задает количество и параметры нейронных слоев, а компьютер подбирает нужные коэффициенты по алгоритму машинного обучения. Этот алгоритм построен на методе проб и ошибок: модель получает входные данные и оценивает полученный результат. Опираясь на величину ошибки, компьютер вносит коррективы в коэффициенты, после чего цикл повторяется заново. Если в процессе обучения удается достичь хороших результатов — коэффициенты фиксируются и модель передают в использование. На этом процесс обучения нейросети (собственно, подбора коэффициентов) считается завершенным.

Во время практического использования ИИ, например общения с ChatGPT или генерации изображений в Midjourney, коэффициенты уже не меняются, иначе гарантировать стабильность результатов было бы невозможно. Как в человеческом мозге нейроны с похожими функциями образуют целые слои нервной ткани, так и в компьютерных нейросетях численные преобразования собираются в последовательные слои. Для удобства слои разделяются на два вида. Первый вид — слои с многомерными матрицами чисел, или тензорами, выражающими линейные преобразования. Второй вид — слои с нелинейными преобразованиями, которые помогают модели выразить более сложные взаимосвязи, но сами по себе довольно просты и не содержат коэффициентов.

Тензоры — это не просто таблицы с числами. Сложение и умножение тензоров происходит по определенным математическим законам, которые позволяют разделять вычисления на множество независимых потоков. Чем эффективнее построен обсчет тензорных операций, тем быстрее работа нейросети. При этом наносекунды, выигранные на логистике данных или синхронизации потоков вычислений, складываются в секунды ожидания пользователем ответа чат-бота, в минуты одного цикла обучения, дни и недели полного обучения нейронки. Решающую роль в этом играют процессоры.

В этой конфигурации чип Groq был добавлен на испытательный стенд Аргонской национальной  лаборатории

Чем отличаются CPU и GPU

Самые первые ЭВМ не были рассчитаны на интерактивное взаимодействие: программист подавал на вход пачку перфокарт, ждал какое-то время и получал результат расчета. Такие машины использовались для нахождения интегралов, расчета баллистических таблиц и решения других сложных вычислительных задач. Когда появились клавиатура, мышь и другие периферийные устройства для ввода информации, процессоры пришлось адаптировать под более гибкую работу.

Так внутри центральных процессоров (CPU) появились дополнительные модули, такие как кэш памяти нескольких уровней, высокопропускная шина данных, маршрутизаторы. Дирижирование этими компонентами и синхронизация процессов обеспечивается на уровне «железа». Это упрощает разработку обычных программ и обеспечивает для них быстродействие, но делает время выполнения любой операции непредсказуемым.

В течение многих лет CPU занимались всеми расчетами от положения курсора на экране до орбитальной траектории МКС, и небольшие проволочки с их стороны никого не смущали. Но когда появилась необходимость совершать огромное количество простых математических операций подряд, задержки стали накапливаться и мешать пользователям. Особенно заметно это стало в середине 1990-х в период бурного роста игровой индустрии. Возможностей CPU стало не хватать для рендеринга — отрисовки кадров для 3D-игр. Рендеринг строится на физических законах оптики и проективной геометрии: линейное движение света, проекция на плоскую пленку объемного изображения и так далее. И все эти расчеты описываются двумерными матрицами чисел.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нeпepсонaльный компьютер Нeпepсонaльный компьютер

Суперкомпьютер из Дубны — один из мощнейших в мире

Цифровой океан
Макаронная революция: как «Макфа» отошла «Росимуществу» и какие еще бизнесы оказались в руках государства Макаронная революция: как «Макфа» отошла «Росимуществу» и какие еще бизнесы оказались в руках государства

Росимуществу перешло более десятка крупных производственных холдингов

Inc.
Без скальпеля Без скальпеля

Как проходила первая в мире операция по 3D-биопечати на живом человеке

Цифровой океан
«Как я приняла свою негативно настроенную мать»: 6 уроков «Как я приняла свою негативно настроенную мать»: 6 уроков

Как научиться быть счастливой, несмотря на негатив, исходящий от близких?

Psychologies
Кодекс поведения робота Кодекс поведения робота

В чем заключаются ключевые проблемы взаимодействия человека и ИИ

Популярная механика
Матери тратят 97 часов в неделю на выполнение родительских обязанностей Матери тратят 97 часов в неделю на выполнение родительских обязанностей

Материнство включает список обязанностей, который можно продолжать бесконечно

ТехИнсайдер
Топ-15 инноваций, которые изменят мир микроэлектроники Топ-15 инноваций, которые изменят мир микроэлектроники

Топ-15 инноваций, которые изменят мир микроэлектроники

РБК
Почему в самолете при взлете и посадке запрещено опускать спинки кресел Почему в самолете при взлете и посадке запрещено опускать спинки кресел

Почему мы не можем приземляться и взлетать с комфортом?

ТехИнсайдер
Психиатр Венедикта Ерофеева — о том, каким он был человеком Психиатр Венедикта Ерофеева — о том, каким он был человеком

Как в Венедикте Ерофееве сочетался алкоголизм и интеллектуальность

СНОБ
Цена прохлады: как выбрать кондиционер для дома Цена прохлады: как выбрать кондиционер для дома

На что обратить внимание при выборе кондиционера?

CHIP
Танцы и панические атаки: как звучит новый альбом Билли Айлиш Hit Me Hard And Soft Танцы и панические атаки: как звучит новый альбом Билли Айлиш Hit Me Hard And Soft

Как Билли Айлиш удалось собрать в одно целое поп, баллады и песни-триллеры

Forbes
5 отличных книг в жанре эпического фэнтези, о которых вы, скорее всего, не слышали 5 отличных книг в жанре эпического фэнтези, о которых вы, скорее всего, не слышали

На что обратить внимание поклонникам творчества Джона Толкина и Тэда Уильямса?

Maxim
Художник Нестор Энгельке: Я вижу мир именно таким — суровым, как топор Художник Нестор Энгельке: Я вижу мир именно таким — суровым, как топор

Нестор Энгельке о «топорописи», работе с деревом и классическом искусстве

СНОБ
Сила света Сила света

Легкий и выразительный интерьер московской квартиры для семьи с двумя детьми

SALON-Interior
Мировая дюжина. 12 часовых марок от Глазго до Сингапура, в обход Швейцарии Мировая дюжина. 12 часовых марок от Глазго до Сингапура, в обход Швейцарии

12 интересных часовых марок откуда угодно, но не из Швейцарии

СНОБ
5 фактов о деле Люси Летби — медсестре, убившей как минимум семерых младенцев 5 фактов о деле Люси Летби — медсестре, убившей как минимум семерых младенцев

Зачем медсестра пошла на такое ужасное преступление?

Psychologies
«Их глаза видели бога»: лучшая история любви всех времен по мнению Опры Уинфри «Их глаза видели бога»: лучшая история любви всех времен по мнению Опры Уинфри

Отрывок из романа Зоры Нил Херстон «Их глаза видели бога»

Forbes
Зебровые амадины заново научились петь после необратимого повреждение нейронов Зебровые амадины заново научились петь после необратимого повреждение нейронов

Ученые заблокировали песни зебровых амадин, но те снова научились петь

N+1
Кошмар владельца: самые сложные автомобили всех времен и народов Кошмар владельца: самые сложные автомобили всех времен и народов

Приобретя эти машины, вы можете очень сильно пожалеть

Maxim
Убийца прокрастинации: как работать по технике «Помодоро» Убийца прокрастинации: как работать по технике «Помодоро»

Как выполнять задачи эффективно и все успевать благодаря технике «Помодоро»

ТехИнсайдер
Как быстро и компактно упаковать вещи: 7 советов стюардессы с 16-летним опытом Как быстро и компактно упаковать вещи: 7 советов стюардессы с 16-летним опытом

Советы бортпроводницы помогут ничего не забыть и обойтись минимумом вещей

ТехИнсайдер
«Симпатия»: как построить приют для собак на фоне политического кризиса «Симпатия»: как построить приют для собак на фоне политического кризиса

Отрывок из книги Родриго Бланко Кальдерона «Симпатия»

Forbes
Не очень милый котик Не очень милый котик

История самого успешного авторского мультфильма и его героя, кота Фрица

Weekend
«Сейчас я буду изменять Джиму Керри». Актриса Даша Верещагина о «Сто лет тому вперед», «Красной Фурии», любимых фильмах и буллинге «Сейчас я буду изменять Джиму Керри». Актриса Даша Верещагина о «Сто лет тому вперед», «Красной Фурии», любимых фильмах и буллинге

Актрис Даша Верещагина о фильме «Сто лет тому вперед»

СНОБ
Типология энергетических вампиров: как не стать жертвой Типология энергетических вампиров: как не стать жертвой

Энергетические вампиры — кто они и что задумали?

Psychologies
Два лучших упражнения для снижения артериального давления: попробуйте догадаться Два лучших упражнения для снижения артериального давления: попробуйте догадаться

Какие упражнения лучше всего подойдут для снижения кровяного давления

ТехИнсайдер
Пять возможных шагов к экономике предложения Пять возможных шагов к экономике предложения

Правительство собирается перевести народное хозяйство на экономику предложения

Монокль
Нужно ли мариновать мясо для шашлыка с точки зрения науки Нужно ли мариновать мясо для шашлыка с точки зрения науки

Правильный выбор мяса для шашлыка позволяет обойтись без маринада

Maxim
Роль керамического искусства в интерьере. Художник Никита Макаров — о том, как сформировать коллекцию Роль керамического искусства в интерьере. Художник Никита Макаров — о том, как сформировать коллекцию

Художник Никита Макаров — как прикладное искусство преображает повседневность

СНОБ
Александр Самойленко: «Актерством невозможно было зарабатывать деньги, думал, что надо поменять профессию» Александр Самойленко: «Актерством невозможно было зарабатывать деньги, думал, что надо поменять профессию»

Мне всегда хотелось заниматься чем-то большим, нежели актерство

Коллекция. Караван историй
Открыть в приложении