Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Следует ли вам чистить зубы до или после завтрака? Ученые наконец-то разрешили спор Следует ли вам чистить зубы до или после завтрака? Ученые наконец-то разрешили спор

Если дело доходит до утренней чистки зубов, когда это нужно делать?

ТехИнсайдер
Что такое «парижский синдром» и чем он опасен Что такое «парижский синдром» и чем он опасен

Японцы, Париж, неоправданные ожидания… В чем связь? В «парижском синдроме»

Psychologies
На седьмое небо за пиццей: удивительные факты о высотных вращающихся ресторанах На седьмое небо за пиццей: удивительные факты о высотных вращающихся ресторанах

Как работает это чудо строительной инженерии — высотные вращающиеся рестораны?

ТехИнсайдер
«Мы начнем все заново». Главы из романа Хелены Побяржиной «Другие ноты» «Мы начнем все заново». Главы из романа Хелены Побяржиной «Другие ноты»

Второй роман Хелены Побяржиной о молчании, смерти, предательстве и музыке

СНОБ
8 доказанных наукой привычек, которые действительно повышают интеллект 8 доказанных наукой привычек, которые действительно повышают интеллект

Какие ритуалы стоит добавить в свою рутину, чтобы стать умнее

Maxim
6 признаков психологической незрелости 6 признаков психологической незрелости

По каким чертам можно определить инфантильного человека?

Psychologies
Лучшие друзья не подведут: как и зачем женщины инвестируют в бриллианты Лучшие друзья не подведут: как и зачем женщины инвестируют в бриллианты

Как выбрать инвестиционные бриллианты, какая судьба ждет эти камни

Forbes
Россия «в состоянии крайней слабости» Россия «в состоянии крайней слабости»

Положение «белой России» в 1919 году выглядело крайне уязвимым

Дилетант
Крадут градус Крадут градус

Там, где встречаются большие деньги и плохо охраняемые склады, жди беды

Правила жизни
Изобретения на любой вкус Изобретения на любой вкус

Как исследователи меняют агротех и фудтех с помощью искусственного интеллекта

РБК
Как и зачем айтишник из Якутии пытается сохранить исчезающие языки малочисленных народов России с помощью современных технологий Как и зачем айтишник из Якутии пытается сохранить исчезающие языки малочисленных народов России с помощью современных технологий

Как эколог стал IT-специалистом и сложно ли ИИ говорить на редких языках

СНОБ
«Рассказать просто о сложном». Мила Введенская — о работе над проектом «‎Исследователь и художник: искусство в экспедиции» «Рассказать просто о сложном». Мила Введенская — о работе над проектом «‎Исследователь и художник: искусство в экспедиции»

Об особенностях выставочных пространств и профессиональных секретах

СНОБ
126 заявок, конверсия — 6%: можно ли автоматизировать подачу откликов на вакансии 126 заявок, конверсия — 6%: можно ли автоматизировать подачу откликов на вакансии

Стартапы разрабатывают ботов, которые массово откликаются на объявления о работе

VC.RU
Как это написать по-угаритски? Как это написать по-угаритски?

Угарит, древний город-государство вблизи сирийского города Латакия

Знание – сила
Вот что нужно знать, если вы хотите начать медитировать! Простые советы экспертов Вот что нужно знать, если вы хотите начать медитировать! Простые советы экспертов

Самым большим препятствием на пути к практике медитации является начало

ТехИнсайдер
12 фраз, которые ни в коем случае нельзя говорить партнеру во время секса 12 фраз, которые ни в коем случае нельзя говорить партнеру во время секса

Список фраз, которые стоит избегать в постели

Psychologies
Я — сноб: хореограф Егор Дружинин Я — сноб: хореограф Егор Дружинин

Режиссер и хореограф Егор Дружинин о важности пауз и балете-дефиле

СНОБ
5 ярких мистификаций в истории русской литературы 5 ярких мистификаций в истории русской литературы

В мире русской литературы мистификация занимает особое место

Maxim
Где хранить зимнюю одежду, если у тебя нет шкафов или места в них не хватает: советы организаторов пространства Где хранить зимнюю одежду, если у тебя нет шкафов или места в них не хватает: советы организаторов пространства

Всякий раз оттягиваешь момент, когда нужно убрать зимние вещи?

VOICE
По следам Америго Веспуччи По следам Америго Веспуччи

Своим капризом судьба обессмертила путешественника Америго Веспуччи

Знание – сила
Космические университеты Юрия Гагарина Космические университеты Юрия Гагарина

Каким был вклад Юрия Гагарина в космонавтику

Наука и жизнь
Швейцарцы научили дрон насаживаться на стержни и переносить их по воздуху Швейцарцы научили дрон насаживаться на стержни и переносить их по воздуху

Инженеры разработали дрон-манипулятор, способный захватывать стержни и трубы

N+1
Кто вы, Сигрид Гордая? Кто вы, Сигрид Гордая?

Что нам известно о биографии Сигрид Гордой из скандинавских саг?

Дилетант
Заболевания вен Заболевания вен

Про варикоз знают все, но про хроническую венозную недостаточность – немногие

Здоровье
Синтезатор случайностей и ошибок Синтезатор случайностей и ошибок

Дмитрий Морозов (::vtol::): звук как открытое произведение

Weekend
Худеем вместе Худеем вместе

Сидеть на диете в одиночестве мужчинам скучно. Другое дело — худеть с женой

Лиза
Человек на радиоуправлении Человек на радиоуправлении

Нейроинтерфейсами начали заниматься в российской «Моторике»

ТехИнсайдер
Глава из дебютного романа Светланы Тюльбашевой «Лес» Глава из дебютного романа Светланы Тюльбашевой «Лес»

Роман о кошмарах, которые скрываются не только в темных северных лесах

СНОБ
Как безопасно и качественно помыть глухие окна: советы профессионалов Как безопасно и качественно помыть глухие окна: советы профессионалов

Как очистить глухие окна, не вылезая почти всем телом в окно

ТехИнсайдер
«Инвесторы доверяют российскому рынку» «Инвесторы доверяют российскому рынку»

Российские инвестиции работают в отрыве от внешних рынков капитала третий год

Деньги
Открыть в приложении