В недавнем исследовании, проведенном специалистами из Университета Рединга и Университета Эссекса в Великобритании, было выяснено, что большинство преподавателей не могут различить, когда работы были написаны искусственным интеллектом, а именно с помощью ChatGPT. Эти результаты были опубликованы в известном научном журнале Plos One и вызвали значительный интерес в академических кругах.
Исследование началось с того, что ученые с согласия администрации университетов подготовили и отправили на оценку 63 работы, созданные с помощью нейросети GPT-4. Эти работы были представлены как ответы на вопросы онлайн-экзаменов по пяти различным учебным модулям. Ответы были отправлены без редактирования от имени вымышленных студентов, чтобы исключить любую предвзятость со стороны проверяющих.
Проверяющими выступали не преподаватели данных модулей, а другие представители академического сообщества, которые также не были осведомлены о количестве участников экзамена или о том, кто именно предоставил работы. Это обеспечило дополнительный уровень анонимности и исключило возможность личной заинтересованности в результатах.
Структура экзаменов включала два типа заданий: короткие ответы длиной до 200 слов и более подробные эссе длиной в 1500 слов.
Интересно, что независимо от типа задания, подавляющее большинство работ, созданных искусственным интеллектом, прошло проверку, и 94% из них были оценены как работы реальных студентов. К тому же, средние оценки за работы, созданные AI, оказались выше, чем за работы студентов-психологов.
Особенно это было заметно в заданиях, требующих кратких ответов, в то время как на более длинных эссе студенты показали лучшие результаты, предположительно из-за более глубоких и продуманных аргументов.
Процедура оценки включала первичную проверку одним из преподавателей, за которой следовала дополнительная проверка модератором, который в свою очередь оценивал работы, вызвавшие сомнения или получившие низкие оценки. Эта система двойной проверки должна была усилить объективность оценок.
На момент проведения исследования в университетах не было введено автоматическое распознавание контента, созданного искусственным интеллектом, хотя проверяющим давались инструкции по выявлению потенциально подозрительных работ, например, тех, что содержали несуществующую научную литературу или были написаны на удивление высоком уровне для студентов начальных курсов.
Однако исследователи также отметили, что неизвестно, сколько реальных студентов могли использовать GPT-4 для подготовки своих экзаменационных ответов, поскольку использование таких технологий было официально запрещено.
Кстати, в российских вузах искусственный интеллект при подготовке работ или домашних заданий использует почти каждый второй студент.
Ранее результаты своего исследования представили ученые Высшей школы экономики. Выяснилось, что каждая ступень высшего образования увеличивает размер заработной платы. Так, магистры зарабатывают на 20% больше, чем бакалавры, а бакалавры и специалисты — на 20% больше, чем люди со средним профессиональным образованием.
Текст подготовила Екатерина Ячина