С простыми экзаменационными вопросами ChatGPT справляется не хуже студентов

VC.RUHi-Tech

«Экзамен сдал, но на троечку»: как чат-бот ChatGPT пытался выпуститься из университетов

Спойлер: с трудом. Но учёные отмечают, что с простыми вопросами он справляется не хуже студентов.

Полина Лааксо

1280
Источник: Showmetech

Научные сотрудники юридического факультета Университета Миннесоты решили проверить, сможет ли чат-бот ChatGPT сдать экзамены наравне со студентами. Задач было две: понять, на что способен расхваленный ИИ, и подумать, как его умения могут упростить жизнь ученикам и преподавателям.

Из дисциплин выбрали четыре: конституционное право, гражданско-правовые правонарушения, налогообложение и трудовые гарантии и компенсации. Для первых двух необходимы знания с первого курса обучения, остальные — элективные предметы для продвинутых.

Экзамены предполагали как выбор правильного варианта ответа на закрытые вопросы, так и краткие и развёрнутые эссе на заданные темы. В двух были ограничения по длине ответа, а в тесте по конституционному праву студентов также обязали ссылаться на источники.

Всего чат-бот ответил на более чем 95 вопросов с вариантами ответов и решил 12 задач на рассуждение. После этого один из профессоров оформил ответы так, будто они принадлежат человеку, и перемешал их с уже обезличенными результатами настоящих студентов. Вот как ChatGPT справился:

  • Конституционное право — «хорошо», 36 место из 40 сдававших.
  • Трудовые гарантии и компенсации — «хорошо с минусом», 18 из 19.
  • Налогообложение — «удовлетворительно с минусом», 66 из 67.
  • Гражданско-правовой деликт — «удовлетворительно с минусом», 75 из 75.

«Удовлетворительно», она же «С» — это не худшая оценка в образовательной системе США: после неё идут ещё две отметки. Так что бот получил проходные баллы и в теории мог бы даже выпуститься. Однако авторы исследования замечают: он оказался в рядах худших, и ему, скорее всего, назначили бы академический испытательный срок — чтобы убедиться, что он старается.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Не дождётесь»: разработчики о том, как они не отвечают на сообщения в рабочих чатах «Не дождётесь»: разработчики о том, как они не отвечают на сообщения в рабочих чатах

Как удалёнка привязывает к устройствам и что с этим делать

VC.RU
«Волковская пивоварня». Пиво имени себя «Волковская пивоварня». Пиво имени себя

Директор «Волковской пивоварни» рассказал нам как живёт российский крафт

4x4 Club
Тела при нагревании расширяются, но не всегда Тела при нагревании расширяются, но не всегда

Что сдерживает тепловое расширение в уникальном сплаве из четырех элементов

ТехИнсайдер
Евгений Герасимов: Евгений Герасимов:

Евгений Герасимов поделился своими амбициозными творческими планами

Коллекция. Караван историй
Больше президенток и законов о насилии: 10 важных достижений феминисток в XXI веке Больше президенток и законов о насилии: 10 важных достижений феминисток в XXI веке

Главные достижения феминисток за последние 25 лет

Forbes
Здоровая и красивая кожа, пышные волосы и крепкий иммунитет: в каких продуктах содержится витамин Е? Здоровая и красивая кожа, пышные волосы и крепкий иммунитет: в каких продуктах содержится витамин Е?

Креветки, миндаль и авокадо: пополняем запасы витамина Е

ТехИнсайдер
Раки: инструкция по применению Раки: инструкция по применению

Как выбрать, приготовить и съесть настоящих донских раков

Bones
Что мешает осуществить мечту: 8 типичных ошибок и решений Что мешает осуществить мечту: 8 типичных ошибок и решений

Почему намерения и реальность часто не находят точек соприкосновения?

Psychologies
Увидеть художника может каждый Увидеть художника может каждый

Как Жан Дюбюффе нашел доброту в искусстве аутсайдеров

Weekend
Сколько можно пить. Наша новогодняя инструкция Сколько можно пить. Наша новогодняя инструкция

Сколько можно выпить и как научиться контролировать порции

Новый очаг
12 лет на пороге смерти: душераздирающая история мальчика, который всю свою жизнь прожил в пузыре 12 лет на пороге смерти: душераздирающая история мальчика, который всю свою жизнь прожил в пузыре

Дэвид Веттер прожил всю жизнь в стерильном пузыре из-за отсутствия иммунитета

ТехИнсайдер
Маршрутизация на дому: как настроить роутер? Маршрутизация на дому: как настроить роутер?

Rак настроить роутер, чтобы он раздавал интернет на все устройства в вашей сети

CHIP
5 интересных горнолыжных курортов 5 интересных горнолыжных курортов

Горнолыжные курорты для тех, ком у наскучил Сочи

Лиза
Зинаида Кириенко: Зинаида Кириенко:

Москва приняла меня со второго раза

Коллекция. Караван историй
Где драма, Мег: что мы узнали из второй части документального фильма о принце Гарри и Меган Маркл Где драма, Мег: что мы узнали из второй части документального фильма о принце Гарри и Меган Маркл

Что прояснилось в истории принца Гарри и Меган после документального фильма?

Правила жизни
5 лайфхаков для людей, которые вечно откладывают дела: советы психологов 5 лайфхаков для людей, которые вечно откладывают дела: советы психологов

Как делать дела здесь и сейчас

VOICE
Отмазочные материалы: самый полный гид по мужским оправданиям (от автора оправданий!) Отмазочные материалы: самый полный гид по мужским оправданиям (от автора оправданий!)

Женщина говорит загадками, а мужчина — отмазками

VOICE
Родители и дети: опасные последствия тайной зависти Родители и дети: опасные последствия тайной зависти

Тема возрастной и социальной зависти детей к родителям и наоборот

Psychologies
Hip-Hop Rules Luxury Hip-Hop Rules Luxury

Отношения хип-хопа и люкса складывались непросто

Robb Report
Бот вместо психотерапевта: научится ли искусственный интеллект лечить душу Бот вместо психотерапевта: научится ли искусственный интеллект лечить душу

Смогут ли нейросети заменить психотерапевтов?

Psychologies
Ругательства, которых не хватает русскому языку Ругательства, которых не хватает русскому языку

Самые витиеватые иностранные ругательства

Maxim
Истина — в спорах Истина — в спорах

Что делать, когда руководителей двое?

Bones
Последнее слово за вами: как и зачем обсуждать свое завещание Последнее слово за вами: как и зачем обсуждать свое завещание

Почему стоит обсуждать с детьми тему завещания?

Psychologies
Изменить сексуальную жизнь, чтобы зарабатывать больше: 8 необычных лайфаков Изменить сексуальную жизнь, чтобы зарабатывать больше: 8 необычных лайфаков

Став более активным в сексуальной сфере, вы начнете и больше зарабатывать

Psychologies
Секреты красоты, которым больше тысячи лет: как ухаживают за лицом в разных странах Секреты красоты, которым больше тысячи лет: как ухаживают за лицом в разных странах

У каждого народа — свои секреты красоты, которые используют уже многие поколения

VOICE
Как устроен арбалет с газовой пружиной: спортивная смекалка Как устроен арбалет с газовой пружиной: спортивная смекалка

Единственный в мире арбалет с газовой пружиной «Кондор»

ТехИнсайдер
Прекрасные и опасные: главные женщины Гая Ричи Прекрасные и опасные: главные женщины Гая Ричи

Холодные и притягательные — женщины фильмов Гая Ричи

VOICE
Знакомьтесь, ёлка! Знакомьтесь, ёлка!

Когда родилась ёлочка и что с ней происходило в России на рубеже XIX и XX веков?

Новый очаг
«Я рокер по натуре!» «Я рокер по натуре!»

Филипп Киркоров о самых необычных новогодних подарках

ЖАРА Magazine
Как Лионель Месси победил редкую болезнь и стал величайшим футболистом (спойлер: спасибо бабушке!) Как Лионель Месси победил редкую болезнь и стал величайшим футболистом (спойлер: спасибо бабушке!)

Кому Лионель Месси обязан своей блестящей карьерой

VOICE
Открыть в приложении