OpenAI начала внедрять скрытую маркировку в текст, который создают ChatGPT и Codex. Первыми ее получат пользователи из Евросоюза — это ответ на требования европейского закона об ИИ, обязывающего помечать сгенерированный контент машиночитаемым способом .
Технология с названием textGrain не оставляет видимых пометок, а встраивает статистический сигнал в выбор слов моделью. Детектор, зная ключ, может позже проверить, есть ли в тексте этот след. По словам OpenAI, textGrain показал результаты на уровне или выше других протестированных подходов, включая SynthID от Google .
Однако у метода есть ограничения. Чем короче текст, тем сложнее его распознать. В тестах на отрывках в 200 токенов детектор находил след примерно в 80% случаев, а на 400 токенах — уже в 95%. Если заменить 10% слов синонимами, точность обнаружения падает с 92% до 66%. Заменишь четверть — останется лишь 17% . Тексты с жесткой структурой, вроде математических решений или кода, тоже дают сбои.
Водяной знак не устанавливает авторство, не измеряет вклад человека, не определяет владельца текста и не подтверждает его точность. Его отсутствие тоже ничего не доказывает — текст мог быть слишком коротким, отредактированным или созданным другой моделью .
Именно из-за этих ограничений доступ к детектору на старте получат только одобренные исследователи и экспертные организации. Публично выкладывать инструмент OpenAI пока не планирует. Компания собирается открыть исходный код textGrain, чтобы другие могли развивать технологию .
API-клиенты по всему миру могут включить маркировку для отдельных моделей уже сейчас, но по умолчанию она отключена. В ChatGPT и Codex в ЕС водяные знаки появятся в ближайшие недели на всех тарифах .
Читайте также:
ChatGPT начнет показывать рекламу во время генерации изображений
Сэм Альтман признал, что OpenAI не решила проблему безопасности ИИ