Анализ механизмов работы передовых языковых моделей, таких как DeepSeek-R1, выявил неожиданный паттерн: для решения сложных задач они не просто удлиняют цепочку мыслей, а организуют внутреннюю симуляцию спора между множеством «персон» с разными взглядами, что напоминает коллективный разум человеческой группы.
Новое исследование демонстрирует, что передовые языковые модели с развитыми рассуждениями, такие как DeepSeek-R1 и QwQ-32B, превосходят стандартные модели не за счет более длинных цепочек мыслей, а благодаря внутренней симуляции социальных взаимодействий. Этот механизм, названный «обществом мысли», подразумевает, что модель в процессе рассуждения имитирует диалог между множеством внутренних «агентов» с различными личностными чертами и экспертизой.
Ученые количественно проанализировали рассуждения моделей на большом наборе задач. Оказалось, что рассуждающие модели значительно чаще демонстрируют диалоговое поведение: задают и отвечают на вопросы, смещают перспективы, создают конфликты мнений и примиряют их. Они также активнее используют социально-эмоциональные роли, такие как просьба о мнении, выражение согласия или несогласия, что характерно для человеческого диалога. Эти паттерны почти отсутствуют у обычных, просто дообученных на инструкциях моделей, даже при контроле длины рассуждений.
Эксперименты с механистической интерпретируемостью подтвердили причинно-следственную связь. Усиление в модели активаций, связанных с контекстом удивления в диалоге, напрямую удваивало точность решения сложных арифметических задач и увеличивало разнообразие задействованных личностных и экспертных черт.
Ключевой вывод подкреплен экспериментом с обучением с подкреплением. Когда базовую модель поощряли только за правильные ответы, без явного стимулирования диалога, она спонтанно развивала диалоговое поведение. Более того, предварительное дообучение моделей на мульти-агентских диалогах, в отличие от монологовых примеров, существенно ускоряло прогресс в рассуждениях.
Исследование предполагает, что высокие рассуждения в больших языковых моделях возникают не из-за масштабирования вычислений, а благодаря внутренней социальной организации — «обществу мыслей», где разнообразие и координация внутренних перспектив ведут к более эффективному исследованию пространства решений. Это открывает новые пути для создания ИИ, вдохновляясь принципами коллективного интеллекта.