Имеет ли значение доминирование английского языка для ИИ-моделей?

ТехИнсайдерHi-Tech

Оказалось, что у ИИ-моделей есть родной язык: чаще всего это английский

Владимир Губайловский

Исследователи Федеральной политехнической школы Лозанны (EPFL) показали, что большие языковые модели, первоначально обученные на английских текстах, похоже, сами используют английский для внутренних задач, даже когда получают подсказки (промпты) на другом языке. Поскольку ИИ все сильнее вмешивается в нашу жизнь, такое превалирование английского может иметь самые серьезные последствия в отношении языковых и культурных предубеждений.

Большие языковые модели, такие как ChatGPT, покорили мир, удивив нас своей способностью понимать наши слова и отвечать на нашем родном языке — гладко и связанно. Но есть нюанс: оказывается у них есть родной язык, и этот язык — английский.

Хотя с большими языковые моделями (LLM), такими как ChatGPT от Open AI и Gemini от Google, можно взаимодействовать на любом языке, первоначально они обучены работе с сотнями миллиардов текстовых параметров, в основном, на английском. Некоторые исследователи выдвинули гипотезу, что большую часть внутренней обработки LLM выполняют на английском языке и переводят полученный текст на целевой язык в самый последний момент. Однако доказательств этому до сих пор было мало.

Тестирование Llama

Исследователи Федеральной политехнической школы Лозанны (EPFL) изучили LLM с открытым исходным кодом Llama-2 (Large Language Model Meta (признана экстремистской организацией на территории РФ) AI), чтобы определить, какие языки использовались на каких этапах вычислительной цепочки.

«Большие языковые модели обучены предсказывать следующее слово. Они делают это, сопоставляя каждое слово с вектором чисел, по сути, с точкой в многомерном пространстве данных. Например, слово "the" всегда будет находиться в одной и той же фиксированной точке координат», — пояснил профессор Роберт Уэст, возглавивший исследование.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Рекордное состоит из 55 букв: 10 самых длинных слов в русском языке Рекордное состоит из 55 букв: 10 самых длинных слов в русском языке

Громоздкие слова русского языка, которые состоят из более чем полусотни букв

ТехИнсайдер
Сверхнизкие орбиты: уникальные возможности и интрига освоения Сверхнизкие орбиты: уникальные возможности и интрига освоения

Сверхнизкие орбиты открывают перспективы, которых нет у других космических высот

Наука
Геймификация, «какашки» и честность: как бренду привлечь зумеров Геймификация, «какашки» и честность: как бренду привлечь зумеров

Что поможет бренду зацепить поколение Z

Inc.
Астрономы увидели прорыв ударной волны сверхновой сквозь плотное околозвездное вещество Астрономы увидели прорыв ударной волны сверхновой сквозь плотное околозвездное вещество

Ученые проследили ударную волну сверхновой сквозь плотное околозвездное вещество

N+1
Две недели в середине лета: история о любви, абьюзе и смерти Две недели в середине лета: история о любви, абьюзе и смерти

Трогательный рассказ о насилии и любви, жизни и смерти

Psychologies
Исследование: что о человеке говорят его предпочтения в кино Исследование: что о человеке говорят его предпочтения в кино

Любимые фильмы могут сказать о человеке большее, чем о его предпочтениях в кино

ТехИнсайдер
В маршрут все включено В маршрут все включено

«Я — капитан»: очень предсказуемый фильм Маттео Гарроне об африканских мигрантах

Weekend
Прощай, global Russian: как российским бизнесменам преодолеть кризис идентичности Прощай, global Russian: как российским бизнесменам преодолеть кризис идентичности

Элите российского бизнеса вернуться домой с концами будет очень тяжело

Forbes
Масло масляное Масло масляное

Какое растительное масло лучше купить и как его правильно использовать

Добрые советы
Фильм «Герой наших снов»: какие пороки высмеивает трагикомедия с Николасом Кейджем Фильм «Герой наших снов»: какие пороки высмеивает трагикомедия с Николасом Кейджем

«Герой наших снов»: какие насущные проблемы Америки поднимает этот фильм?

Forbes
Набросок города Набросок города

Владивосток: освоение пейзажа зоной

Weekend
Приматологи описали жесты коат Жоффруа Приматологи описали жесты коат Жоффруа

Ученые выделили 43 типа обезьяньих жестов коат Жоффруа

N+1
«Задача трех тел»: удивительная научная фантастика от создателей «Игры престолов» «Задача трех тел»: удивительная научная фантастика от создателей «Игры престолов»

Какой получилась англоязычная экранизация азиатской фантастики «Задача трех тел»

Forbes
Академик Валерий Пузырев: именно генетика и сделала медицину наукой Академик Валерий Пузырев: именно генетика и сделала медицину наукой

Что удалось понять и достичь в генетике, а что остается тайной за семью печатями

Наука
Вороны-свистуны не унаследовали интеллект матерей Вороны-свистуны не унаследовали интеллект матерей

Когнитивные способности птенцы воронов-свистунов не наследуют от своих матерей

N+1
Космические университеты Юрия Гагарина Космические университеты Юрия Гагарина

Каким был вклад Юрия Гагарина в космонавтику

Наука и жизнь
Если вы родились в СССР, то в 1990-е годы у вас сформировалась разрушительная привычка Если вы родились в СССР, то в 1990-е годы у вас сформировалась разрушительная привычка

Как понять, что терпение вместо пользы начинает разрушать нас изнутри?

Psychologies
Крутые повороты Крутые повороты

Переворот и революция, которые вывели Португалию на путь демократии

Дилетант
Александр Коршунов: «Вдохновение должно приходить в назначенное время» Александр Коршунов: «Вдохновение должно приходить в назначенное время»

Режиссер Александр Коршунов — о новом спектакле и театре «Сфера»

Монокль
Для смелых читателей: как Дарина Якунина 15 лет руководит издательством «Поляндрия» Для смелых читателей: как Дарина Якунина 15 лет руководит издательством «Поляндрия»

Основательница «Поляндрии» — об издательстве и детских книгах

Forbes
Если ребёнок простудился Если ребёнок простудился

Почему дети болеют, и как им помочь быстрее поправиться?

Здоровье
Рыцари супа Рыцари супа

Рыцари павийского супа придумали, как разогреть патриотизм историческим рецептом

Вокруг света
Как отличить поддельный смартфон от оригинального Как отличить поддельный смартфон от оригинального

Гайд, как обнаружить поддельное устройство, заказанное на маркетплейсе

Maxim
Итальянские протеи покинули пещеры ради охоты на червей Итальянские протеи покинули пещеры ради охоты на червей

Ранее считалось, что европейские протеи проводят под землей всю жизнь

N+1
Как натянуть цепь на бензопиле — наглядная инструкция Как натянуть цепь на бензопиле — наглядная инструкция

Важно следить за натяжением цепи в бензопиле — как ее подтянуть

CHIP
Есть или не есть: лапша быстрого приготовления Есть или не есть: лапша быстрого приготовления

Лапша и картофельное пюре быстрого приготовления — это самая вредная еда?

ТехИнсайдер
Театр начинается с вешалки Театр начинается с вешалки

Макар Михалкин — о Большом театре и балете

Men Today
Что сказать при расставании: 6 фраз, которые смягчат душевную боль партнера Что сказать при расставании: 6 фраз, которые смягчат душевную боль партнера

Почему так важно правильно расставаться и как сделать это экологично?

Psychologies
Как правильно перевезти холодильник, чтобы его не испортить? Как правильно перевезти холодильник, чтобы его не испортить?

Как правильно перевозить холодильник при переезде?

CHIP
10 цитат Киры Найтли, которые научат вас слушать себя, а не других 10 цитат Киры Найтли, которые научат вас слушать себя, а не других

Вспоминаем самые яркие высказывания Киры Найтли

Psychologies
Открыть в приложении