Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Безопасно ли ходить, ездить и плавать под ЛЭП: спрашивают многие, знают единицы Безопасно ли ходить, ездить и плавать под ЛЭП: спрашивают многие, знают единицы

Есть ли риск поражения молнией и могут ли навредить электромагнитные поля от ЛЭП

ТехИнсайдер
Тренинг двойной эффективности: почему стоит нанимать женщин после декрета Тренинг двойной эффективности: почему стоит нанимать женщин после декрета

В каком контексте мамы строят карьеру, и почему они ценные сотрудники

Forbes
Зачем закрывать приложения на смартфоне: борьба с цифровыми вампирами Зачем закрывать приложения на смартфоне: борьба с цифровыми вампирами

Вы когда-нибудь замечали, что ваш смартфон внезапно начинает нагреваться?

ТехИнсайдер
«Материнский инстинкт»: как драма с Энн Хэтэуэй и Джессикой Честейн исследует горе «Материнский инстинкт»: как драма с Энн Хэтэуэй и Джессикой Честейн исследует горе

«Материнский инстинкт»: драма о том, как общество демонизирует горюющих женщин

Forbes
Вся правда о холестерине Вся правда о холестерине

Что на самом деле вызывает заболевания сердца и сосудов

kiozk originals
Перезагрузка мышления Перезагрузка мышления

Как устроена нейронная сеть и что мы можем сделать, чтобы управлять ею

Лиза
Женщины меняют Петербург Женщины меняют Петербург

«Собака.ru» вместе с Mercury благодарят петербурженок за их достижения

Собака.ru
Все по-взрослому: 10 знаменитых актеров и актрис, работавших в порно до (и во время!) карьеры в кино Все по-взрослому: 10 знаменитых актеров и актрис, работавших в порно до (и во время!) карьеры в кино

Как съемки во «взрослом видео» не стали клеймом на карьере актеров

Правила жизни
Выставка терминаторов Выставка терминаторов

В Абу-Даби прошла выставка беспилотных систем Umex 2024

ТехИнсайдер
Рождение литературного слова из духа математики Рождение литературного слова из духа математики

Сухово-Кобылина можно в полной мере считать «иксом», «невидимой величиной»...

Наука
Татьяна Тылевич Татьяна Тылевич

Почему ИФЗ — это живое производство и как сделать фарфор модным

Собака.ru
Что такое «парижский синдром» и чем он опасен Что такое «парижский синдром» и чем он опасен

Японцы, Париж, неоправданные ожидания… В чем связь? В «парижском синдроме»

Psychologies
Ретроградный Меркурий в 2024 году Ретроградный Меркурий в 2024 году

Так ли виноват ретроградный Меркурий и какие сюрпризы от него ждать в этом году?

Лиза
Автор «Вонгозера» Яна Вагнер о своем новом романе и самосбывающихся пророчествах Автор «Вонгозера» Яна Вагнер о своем новом романе и самосбывающихся пророчествах

Яна Вагнер — о триллере «Тоннель» и о том, как создавался этот роман

Forbes
Высокодоходный максимум Высокодоходный максимум

Небольшие компании воспользовались шансом занять у частников

Деньги
Настроения на подъеме Настроения на подъеме

Почему растет потребительская активность россиян

Деньги
Белых пятен больше нет Белых пятен больше нет

Десять удивительных географических объектов, открытых в XX и XXI веке

Вокруг света
Инвесторы меняют локацию Инвесторы меняют локацию

Приток капиталов фиксируют фонды США, Индии и России

Деньги
Парящий гигант Парящий гигант

Могло ли какое-то живое существо стать прототипом летающего гиганта, птицы Рух?

Вокруг света
Самцы большинства видов млекопитающих оказались не крупнее самок Самцы большинства видов млекопитающих оказались не крупнее самок

Вопреки представлениям, самцы большинства млекопитающих не крупнее самок

N+1
Выносливый и политически благонадежный: как Гагарина выбрали для полета в космос Выносливый и политически благонадежный: как Гагарина выбрали для полета в космос

О том, как шла подготовка к отправке человека в космос

Forbes
Парадоксы «кроличьей норы» Парадоксы «кроличьей норы»

Что случится, если упасть в туннель, проходящий Землю насквозь через её центр?

Наука и жизнь
Как ученые смогли снять отпечатки пальцев с 2400-летнего трупа! История болотного тела из Толлунда Как ученые смогли снять отпечатки пальцев с 2400-летнего трупа! История болотного тела из Толлунда

Усопший когда-то стал жертвой человеческого жертвоприношения

ТехИнсайдер
Выжить после удара метеорита, авиакатастрофы и кораблекрушения: 10 самых везучих людей на планете Выжить после удара метеорита, авиакатастрофы и кораблекрушения: 10 самых везучих людей на планете

Рассказываем истории людей, которые прямо таки родились «под счастливой звездой»

ТехИнсайдер
Бионические протезы. Русский след Бионические протезы. Русский след

Важные этапы в области развития биопротезирования

Наука и техника
Мастер Цыганов Мастер Цыганов

Сцены из жизни и сцена в жизни Евгения Цыганова

Men Today
Электрический фантом Электрический фантом

Состоялся мировой дебют электрической Frauscher × Porsche 850 Fantom Air

Y Magazine
По разным канонам По разным канонам

Фантазия на тему усадьбы с винтажной мебелью и отделкой конца XIX в.

Идеи Вашего Дома
Масло масляное Масло масляное

Какое растительное масло лучше купить и как его правильно использовать

Добрые советы
«В России можно накапливать только рубль» «В России можно накапливать только рубль»

Как под воздействием санкций меняется валютный рынок?

Монокль
Открыть в приложении