OpenAI использует людей для проверки реальных диалогов с ChatGPT. Об этом сообщают СМИ, изучившие внутренние документы компании, инструкции для сотрудников и примеры переписок. По данным журналистов, проект получил название Project Lily, а к работе привлекли сотни подрядчиков.
Задача проверяющих — оценивать качество ответов чат-бота. Они смотрят, насколько хорошо ChatGPT понял запрос, ответил по существу и избежал нежелательных особенностей: чрезмерно «искусственного» стиля, покровительственного тона, большого количества эмодзи и попыток понравиться пользователю любой ценой.
Отдельно оценивается то, как модель говорит о себе. Например, ChatGPT не должен выдавать себя за человека, ссылаться на личный опыт или утверждать, что он сам работал в какой-либо профессии.
Один из участников проекта описал работу как достаточно однообразную. При этом, по его словам, оплата могла превышать 50 долларов в час. Инструкции для проверяющих регулярно менялись и иногда противоречили друг другу.
Главный вопрос связан не с самой проверкой ответов, а с содержанием переписок. Многие пользователи обращаются к ChatGPT не только за справками или помощью с текстами, но и обсуждают с ним личные проблемы, отношения и эмоциональное состояние. В таких разговорах могут содержаться сведения, которые человек не стал бы раскрывать посторонним.
OpenAI заявила, что перед передачей диалогов подрядчикам использует фильтр конфиденциальности. Он должен удалять личную информацию. Однако компания признала, что фильтрация может работать не идеально, особенно в коротких разговорах.
По данным журналистов, проверяющие не видят имена пользователей, но в предоставленных им материалах может сохраняться другая информация. В частности, речь идет о сводке пользовательских воспоминаний, где описываются интересы человека, его предыдущие запросы, контекст общения и потенциально местоположение. Таким образом, даже после обезличивания переписка может содержать достаточно деталей, чтобы раскрыть личные обстоятельства пользователя.
При этом Project Lily, судя по изученным материалам, предназначен именно для оценки качества ответов. Проверка фактической точности не является его основной задачей: сотрудники должны отмечать очевидные ошибки, но не проводят полноценную проверку каждого утверждения. Также этот процесс отличается от отдельных проверок безопасности, связанных с возможным причинением вреда себе или другим людям.
Улучшение чат-ботов по-прежнему требует участия людей. Несмотря на развитие моделей и автоматизированных систем, сотрудники вручную оценивают ответы, чтобы разработчики могли корректировать поведение ChatGPT.
Вопрос конфиденциальности при этом остается открытым. Пользовательские чаты могут использоваться для улучшения моделей, если соответствующая настройка включена. В потребительских версиях сервисов такая возможность обычно активна по умолчанию.
После публикации расследования OpenAI изменила справочную страницу, посвященную отказу от использования данных для улучшения моделей. Однако, в обновленном тексте нет отдельного упоминания о людях, которые могут просматривать переписки.
Читайте также:
25 лауреатов Филдсовской премии предупредили об угрозе ИИ для математики
В США хотят сажать разработчиков искусственного сверхинтеллекта на 20 лет