ИИ стал обыденностью во многих сферах, в том числе в образовании, а это стало источником головной боли для многих преподавателей вузов. Студенты выдают результаты работы нейросетей за свои, а доказать, что это не так, не всегда возможно. Ильдар Садыков, главный эксперт UserGate uFactor, рассказывает, как встроить ИИ в образовательный процесс, чтобы он не мешал, а помогал и учащимся, и преподавателям.
Запреты не помогут
Всего три года назад, в 2023 году, студент РГГУ защитил дипломную работу, частично написанную нейросетью. Как сообщил сам дипломник, он поставил эксперимент, который оказался удачным. Рецензенты приняли работу без проблем, а на защите поставили за нее «удовлетворительно». Когда факт вскрылся, новость произвела шок-эффект и облетела большинство российских СМИ.
Сегодня эта новость — относительно недавняя — кажется даже не вчерашним днем, а вчерашним веком. ИИ для написания студенческих работ используется почти по умолчанию. Преподаватели же хватаются за голову, не понимая, что им с этим делать и как перестраивать учебные процессы.
LLM развились настолько, что результат их труда ничуть не хуже, а нередко и лучше работ, написанных студентами собственноручно, и это касается не только дипломных. Какую область ни возьми, хоть написание кода, хоть аналитику — у студентов везде есть возможность переложить работу на ИИ и выдать ее за свою.
Массовое использование генеративных моделей в учебе подтверждается и статистикой. Согласно недавнему исследованию, проведенному VK Education, ИИ применяют 85% студентов. Сами по себе эти цифры не хороши и не плохи. Хотим мы этого или нет, LLM — реальность сегодняшнего дня.
Проблема в том, что чаще всего студенты обращаются к ИИ, чтобы сдать задание, ни во что не вникая. То есть ровно так, чтобы ничему не научиться. Инструмент, способный ускорить и углубить обучение, превращается в способ его имитировать.
Задачи на подумать
С вышеописанной проблемой мы знакомы не понаслышке, поскольку организуем обучение и стажировки, в том числе работаем со студентами в университетах. Точно так же мы понимаем, что запрещать использовать ИИ бесполезно — это ограничение сложно проконтролировать и легко обойти.
В связи с этим мы изначально составили задания таким образом, чтобы студентам приходилось думать и самим принимать решения, с ИИ или без. Максимум, что в рамках этого процесса сможет сделать ИИ, — устранить грубые ошибки. Такого же типа задания мы применяем и при повышении квалификации наших заказчиков в Академии UserGate.
Наши задания — практические. Их необходимо выполнять на своем компьютере. Сгенерировать готовый ответ на само задание просто так не получится, потому что в отчете нужно подробно описать шаги его выполнения. Проще и быстрее выполнить задание самому, чем ждать, когда нейросеть сгенерирует ответ, который потом придется несколько раз править. А задавать ИИ-помощнику вопросы по ходу выполнения можно и даже нужно, ведь это позволяет быстрее найти решение отдельных частей задания и проверить его на учебном стенде.
Одновременно ИИ разгрузил преподавателей. Если раньше студенты задавали по сто вопросов в день, то теперь — около десяти. Остальное учащиеся выясняют через большие языковые модели, хоть российские, хоть зарубежные.
Экспериментальная система проверки
Раньше мы проверяли работы вручную, что отнимало много времени и ресурсов. Результаты присылали пять-шесть заказчиков, у каждого — по десять-пятнадцать человек, ведь обучение одновременно проходит огромное число людей, и на проверку приходится выделять нескольких ведущих специалистов, отрывая их от рабочих задач.
Для этого мы написали экспериментальную систему, которая проверяет работы автоматически. Она сверяет результат по заданным паттернам и отличается устойчивостью к попыткам ввести ее в заблуждение. Например, она распознает отравленные запросы, которые приводят к неверной интерпретации результата. Мы заложили несколько возможных векторов атак на модель еще на этапе проектирования и внедрили инструменты защиты.
Человек присылает работу, система проверяет ее целиком, разбирает содержание, оценивает, насколько выполнено то, что требуется от студента, и выдает вердикт о том, правильно ли сделана работа, в каких пунктах содержатся ошибки. Эта система и позволила нам автоматизировать всю проверку, значительно ее ускорив.
Дополнительным плюсом стало то, что мы запустили ее на локальной LLM-модели, что еще больше сократило время обработки. Благодаря системе ресурсы ведущих экспертов перестали тратиться на задачи по проверке работ, и они смогли посвятить себя основным проектам.
К тому же при ручной проверке преподаватель не всегда видит, списывал ли учащийся. В лучшем случае он заметит случайное совпадение. А в нашей системе для этого есть отдельный функционал, позволяющий находить факты списывания. Если кто-то взял чужие скриншоты или просто скопировал результат, видно, у кого он это заимствовал. Причем мы можем с высокой точностью установить, что работу сдал не тот, кто ее выполнял. Такие случаи уже были: пойманным приходилось либо переделывать работу, либо сталкиваться с отстранением от обучения или стажировки.
Этот кейс показывает, что студентам можно и нужно разрешать пользоваться ИИ. В наши дни запрет на его применение в учебном процессе равносилен запрету ноутбуков или даже электричества. Но важно организовать процесс так, чтобы LLM оставались лишь вспомогательным инструментом и не отнимали у человека то, что отличает его от машины, — способность мыслить и принимать решения.