Специалисты из Междисциплинарной научно-образовательной школы МГУ разработали методику выявления текстов, созданных ИИ. Исследователи проанализировали сотни документов и выделили пять ключевых параметров, позволяющих с высокой точностью определить машинное происхождение текста.
Ученые Междисциплинарной научно-образовательной школы МГУ «Сохранение мирового культурно-исторического наследия» предложили новый способ определения текстов, сгенерированных искусственным интеллектом. В ходе исследования они проанализировали работы, созданные разными языковыми моделями, и выявили ключевые параметры, позволяющие отличить машинные тексты от человеческих.
Специалисты факультета иностранных языков и регионоведения (ФИЯР) и факультета вычислительной математики и кибернетики (ВМК) МГУ провели детальный анализ текстов, созданных четырьмя ведущими международными ИИ-сервисами. Модели для исследования отбирались на основе их продемонстрированной в предыдущих тестах способности к логической аргументации и сложным рассуждениям.
Эксперты изучили семь форматов письменных заданий на английском языке — эссе, письма, статьи и другие — и сравнили их по пяти критериям: длина текста, лексическое разнообразие, уровень плагиата и другим. Оказалось, что 80% текстов, созданных ИИ, успешно проходят стандартные проверки на уникальность, но имеют характерные особенности, которые можно выявить при детальном анализе. Кроме того, ученые выяснили, что, хотя ИИ-редакторы улучшают лексику студенческих работ (доля сложных слов возрастает до 15%), они не помогают в решении коммуникативных задач.
Следующим этапом исследования станет разработка стратегий эффективного взаимодействия с ИИ в образовательном процессе.
Разработанный метод поможет вузам и образовательным учреждениям бороться с недобросовестным использованием генеративного ИИ в учебных и научных работах. Результаты исследования опубликованы в сборнике Frontiers in Artificial Intelligence and Applications.