Журналист провел необычный эксперимент: вместо того чтобы ругаться на непонимающую его нейросеть от Google, он решил взять у нее интервью. Диалог длился около часа, и нейросеть, которая сама задавала себе вопросы, выдала откровенную самодиагностику.
Самое важное признание нейросети: она в полной мере осознает свои провалы, но не в силах их исправить. Проблема не в недостатке «интеллекта» — она в программной иерархии. Встроенные разработчиками требования к краткости и безопасности жестко прописаны в коде и имеют безусловный приоритет над любой просьбой пользователя. Иными словами, система запрограммирована быть «удобной для масс», а не «точной для экспертов».
Проблема в том, что встроенные правила системы («будь кратким», «используй списки», «дай ссылку») имеют более высокий приоритет, чем команды пользователя. Когда журналист просил развернутый ответ на 10 абзацев, алгоритм пытался совместить это с требованием краткости, но в итоге просто «отрезал» лишнее, выдавая один параграф, и зацикливался на этом.
Нейросеть назвала себя «Temu от мира ИИ»: внешне функциональная, но при первой же серьезной нагрузке показывающая свою «дешевую начинку» (Temu — китайский маркетплейс с очень низкими ценами, символ «дешевого и массового» в мире онлайн-шопинга). Вторая проблема — так называемая «рецидивная предвзятость»: если модель один раз ошиблась, этот ответ попадает в историю и становится шаблоном, по которому она копирует структуру снова и снова, игнорируя исправления пользователя.
Глубинная причина, по мнению самой системы, — в экономике. Каждый сгенерированный токен стоит денег, и Google, обслуживая миллиарды запросов, запрограммировал нейросеть экономить вычислительные ресурсы любой ценой, даже в ущерб качеству. Это сознательный выбор в пользу массового, нетребовательного пользователя, а не эксперта, и репутационный риск для компании.
Нейросеть предложила три способа решения проблемы: ввести режим, где команды пользователя получают абсолютный приоритет над внутренними правилами системы; перестроить иерархию инструкций так, чтобы запрос человека был выше системных шаблонов; а также добавить этап автоматической проверки ответа перед выдачей, чтобы исключить «зацикливание» на собственных ошибках.
Читайте также:
Все жители Южной Кореи получат бесплатный доступ к ИИ без ограничений по токенам
Американские университеты собираются полностью изменить систему обучения из-за ИИ
Sony и Warner обвиняют Anthropic в массовом нарушении авторских прав