Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья? Скандинавская ходьба: глупый тренд или топовое упражнение для поддержания здоровья?

Оказывают ли какой-то эффект палки в скандинавской ходьбе?

ТехИнсайдер
Полезный канцелярский товар: 7 крутых идей, как использовать клей ПВА в быту Полезный канцелярский товар: 7 крутых идей, как использовать клей ПВА в быту

Канцелярский клей предназначен не только для создания школьных поделок

ТехИнсайдер
Динамически меняющая внешность маска поможет обмануть систему распознавания лиц Динамически меняющая внешность маска поможет обмануть систему распознавания лиц

Инженеры создали маску, способную изменять форму лица и цвет кожи

N+1
Парус, лыжи, кошки, спиннинг… Парус, лыжи, кошки, спиннинг…

В кратер вулкана на лыжах и неделя «вне зоны действия сети»

Вокруг света
Как читать книги Как читать книги

Руководство по чтению великих произведений

kiozk originals
Самки китайских лягушек подмигнули понравившимся самцам Самки китайских лягушек подмигнули понравившимся самцам

Самки китайских лягушек моргают самцам, с которыми хотят спариться

N+1
Заряд бодрости. 7 фруктов, которые лучше всего есть на завтрак Заряд бодрости. 7 фруктов, которые лучше всего есть на завтрак

Какие фрукты не только придадут тебе энергию с самого утра, но и оставят сытой

Лиза
«Когда я боюсь , я иду напролом» «Когда я боюсь , я иду напролом»

Ксения Трейстер — о твердом характере и желании быть во всем первой

OK!
Выйти из тени Выйти из тени

Яхтенный мир знает немного историй об успешном партнерстве верфей с автопромом

Y Magazine
126 заявок, конверсия — 6%: можно ли автоматизировать подачу откликов на вакансии 126 заявок, конверсия — 6%: можно ли автоматизировать подачу откликов на вакансии

Стартапы разрабатывают ботов, которые массово откликаются на объявления о работе

VC.RU
Советы для «сов»: как просыпаться по утрам проще и эффективнее Советы для «сов»: как просыпаться по утрам проще и эффективнее

Как облегчить себе пробуждение и просыпаться быстрее?

ТехИнсайдер
Продлить молодость Продлить молодость

Как нужно питаться, чтобы продлить молодость

Лиза
9 признаков настоящего «душнилы» 9 признаков настоящего «душнилы»

Кто такой истинный «душнила»?

Maxim
Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок Вышел корейский триллер «День похищения». MAXIM публикует эксклюзивный отрывок

Отрывок из национального бестселлера Южной Кореи

Maxim
Гонки биовооружений, гибрид человека с обезьяной и другие риски генных технологий Гонки биовооружений, гибрид человека с обезьяной и другие риски генных технологий

Возможности, которые в ближайшее время может открыть синтетическая биология

Forbes
История фразеологизма: разве можно «проглотить аршин», длина которого равна 71 сантиметру? История фразеологизма: разве можно «проглотить аршин», длина которого равна 71 сантиметру?

Как можно проглотить аршин — полуметровую линейку?

ТехИнсайдер
Шоколад Шоколад

«Пища богов». Именно так называют продукт, знакомый каждому сладкоежке – шоколад

Здоровье
Масленица в Коломне Масленица в Коломне

Кругом угощения, блины, сладости! И этот дух сохранили в Коломне и сегодня!

Лиза
Своевременное вневременное Своевременное вневременное

Как математик Александр Константинов стал художником чистой линии

Weekend
Я занят, дорогая! Почему муж сидит на сайте знакомств: 6 причин, названных психологом Я занят, дорогая! Почему муж сидит на сайте знакомств: 6 причин, названных психологом

А что если ты внезапно обнаружила, что любимый муж сидит на сайте знакомств?

Лиза
Две трети компаний сталкиваются с нехваткой кадров, борясь со сложными кибератаками Две трети компаний сталкиваются с нехваткой кадров, борясь со сложными кибератаками

Как отечественный бизнес справляется с участившимися кибератаками

Forbes
Вдруг выросла спина Вдруг выросла спина

Как сделать спину снова великой

Men Today
Только мое Только мое

Как обозначить в небольшой квартире личные границы?

Лиза
«Церемония жизни». Рассказ из сборника Саяка Мурата «Церемония жизни». Рассказ из сборника Саяка Мурата

Сборник саркастичных, шокирующих и одновременно нежных историй Саяки Мураты

СНОБ
Подводный робот на колесах обработает подводные сооружения антикоррозионным составом Подводный робот на колесах обработает подводные сооружения антикоррозионным составом

Инженеры разработали подводный робот Crawfish

N+1
От алюминиевых коробок – к самолету. Окончательная сборка От алюминиевых коробок – к самолету. Окончательная сборка

Этапы окончательной сборки агрегатов самолета и их регулировка

Наука и техника
«Обывательщину на прицел!», или Как в эпоху НЭПа в СССР боролись с мещанством, но не преуспели «Обывательщину на прицел!», или Как в эпоху НЭПа в СССР боролись с мещанством, но не преуспели

Прежде чем рассмотреть мещанина, стоит задаться вопросом: а что же он такое?

Наука
«Так мне и надо, тут я и останусь»: как женщины попадают в современное рабство «Так мне и надо, тут я и останусь»: как женщины попадают в современное рабство

Почему проблема рабства касается прежде всего женщин

Forbes
Иван Панфилов: «Дело, которым занимались родители, давалось им не только радостно и легко, но порой мучительно и трудно» Иван Панфилов: «Дело, которым занимались родители, давалось им не только радостно и легко, но порой мучительно и трудно»

Мама взяла за руку: «Ванюша, как же так? Ты поедешь в Гавану один?»

Коллекция. Караван историй
Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно Зумеры в России мечтают о раннем браке и большой семье: почему для них это важно

Почему одна из главных ценностей зумеров — создание собственной семьи?

Psychologies
Открыть в приложении