Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Строительство на Марсе: как грибы и цианобактерии помогут развитию колоний Строительство на Марсе: как грибы и цианобактерии помогут развитию колоний

Для строительства на Марсе не понадобятся ракеты с рабочими материалами

ТехИнсайдер
Что добавить в воду, чтобы быстро отмыть плиту: советы профессиональных клинеров Что добавить в воду, чтобы быстро отмыть плиту: советы профессиональных клинеров

Удаление жира с плиты — не самое увлекательное занятие. Что можно сделать?

VOICE
Как работает автофокус в фотоаппарате? От сенсора до мотора в объективе Как работает автофокус в фотоаппарате? От сенсора до мотора в объективе

Как работает автофокус: подробно и со схемами

ТехИнсайдер
Вырастить, заготовить, сохранить Вырастить, заготовить, сохранить

Как запастись кормами для КРС без потерь

Агроинвестор
Летают ли авиалайнеры над Северным полюсом: да, и это стоит сделать хотя бы раз в жизни Летают ли авиалайнеры над Северным полюсом: да, и это стоит сделать хотя бы раз в жизни

Почему летать через Северный полюс до сих пор рискованно

ТехИнсайдер
Подать газу Подать газу

Что сдерживает перевод российской сельхозтехники на газомоторное топливо

Агроинвестор
Пой, ласточка, пой Пой, ласточка, пой

Какими умениями нужно обладать, чтобы стать оперным певцом

Лиза
Что делать перед стиркой, чтобы одежда благоухала свежестью: 9 простых трюков Что делать перед стиркой, чтобы одежда благоухала свежестью: 9 простых трюков

Есть способы сделать одежду благоухающей без специальных средств!

VOICE
Десять самых странных коробок передач в истории транспорта Десять самых странных коробок передач в истории транспорта

Причудливые и даже слегка безумные коробки передач

Maxim
В духе модернизма В духе модернизма

Лаконичный одноэтажный дом в живописной местности в окрестностях Минска

Идеи Вашего Дома
Почему дергается глаз Почему дергается глаз

Подергивание глаз: частые и неочевидные причины

Лиза
Какое место в автомобиле самое безопасное для ребенка? Ответ вас удивит Какое место в автомобиле самое безопасное для ребенка? Ответ вас удивит

Где расположить детское автокресло, чтобы обеспечить ребенку безопасность?

ТехИнсайдер
Парящий гигант Парящий гигант

Могло ли какое-то живое существо стать прототипом летающего гиганта, птицы Рух?

Вокруг света
Набросок города Набросок города

Владивосток: освоение пейзажа зоной

Weekend
Автоматические ремни безопасности: гениальное изобретение или бестолковая ерунда? Автоматические ремни безопасности: гениальное изобретение или бестолковая ерунда?

Автопроизводители порой устраивали с ремнями безумные эксперименты...

Maxim
Тана Френч: «В лесу». Роман из «Дублинского цикла» Тана Френч: «В лесу». Роман из «Дублинского цикла»

Фрагмент из дебютного детективного романа Таны Френч «В лесу»

СНОБ
«С каждым вдохом: Удивительная история наших легких» «С каждым вдохом: Удивительная история наших легких»

О поиске препарата для борьбы с идиопатическим легочным фиброзом

N+1
Не только уксус: чем можно заменить разные моющие средства Не только уксус: чем можно заменить разные моющие средства

Вот чем тебе стоит воспользоваться, если дома закончился пятновыводитель

VOICE
Авторы фильма о Раисе Горбачевой: Мы сняли кино о любви, которую победила политика Авторы фильма о Раисе Горбачевой: Мы сняли кино о любви, которую победила политика

Раиса Горбачева: чему нас может научить ее образ сегодня?

СНОБ
Пауль Эрлих и его идеалы лечения Пауль Эрлих и его идеалы лечения

В XIX веке иным врачам удавалось спасти не десять, не сто, а сотни тысяч жизней

Наука
Подружились, полюбились, спелись Подружились, полюбились, спелись

Творческое объединение «Под облаками» — это десять увлеченных людей

Seasons of life
Вместо таблетки Вместо таблетки

10 продуктов, которые лечат не хуже лекарств

Лиза
Эра титанов Эра титанов

Эти проекты потрясали своим размахом и могли изменить мир, но канули в прошлое

Men Today
«Рассказать просто о сложном». Мила Введенская — о работе над проектом «‎Исследователь и художник: искусство в экспедиции» «Рассказать просто о сложном». Мила Введенская — о работе над проектом «‎Исследователь и художник: искусство в экспедиции»

Об особенностях выставочных пространств и профессиональных секретах

СНОБ
Картина Рима Картина Рима

«Творчество художника сродни главной страсти Бога – страсти творить»

Правила жизни
Уважайте конституцию Уважайте конституцию

Тип фигуры может сообщить нам много. И подсказать, как привести тело в порядок

Добрые советы
6 простых правил, которые сделают тебя стройной к летнему сезону 6 простых правил, которые сделают тебя стройной к летнему сезону

Как терять вес, получая удовольствие от процесса?

VOICE
4 стереотипа о внешности, которые мешают женщинам быть счастливыми 4 стереотипа о внешности, которые мешают женщинам быть счастливыми

О стереотипах и ложных установках, которые мешают чувствовать себя счастливой

Psychologies
Золотой мой человек Золотой мой человек

«Золото Рейна»: байопик Ксатара, образцового гангстера, рэпера и бизнесмена

Weekend
Чистая работа Чистая работа

Как отстирать кухонные полотенца и устранить любые пятна

Лиза
Открыть в приложении