Журналист измерил IQ чат-ботов с помощью адаптированного теста на коэффициент интеллекта человека, состоящего из 35 текстовых вопросов. Результаты продемонстрировали, что IQ у модели Claude-3 превышает 100 баллов.
Максим Лотт провел оценку интеллектуальных способностей ряда чат-ботов, используя для этого адаптированный тест IQ, состоящий из 35 вопросов, представленных в текстовом формате. Для повышения точности результатов эксперимент был выполнен дважды. В исследование были включены такие ИИ-модели, как Claude-3, Claude-2, Claude-1, ChatGPT-4, ChatGPT-3.5, Bing Copilot, Gemini, Gemini Advanced, Grok, Grok Fun, Llama-2 и Random Guesser.
Интеллектуальный уровень модели Claude-3 превысил 100 баллов, что стало прорывом, поскольку до этого момента подобный результат у чат-ботов не наблюдался. Отметим, что среднестатистический человек имеет IQ в пределах 80-109 баллов.
ChatGPT-4 также продемонстрировал высокие показатели, достигнув отметки в 85 баллов, в то время как Claude-2 остановился на уровне 82 баллов. Интересно, что Bing Copilot от Microsoft, разработанный на основе технологий OpenAI, показал результат в 79 баллов. А базовая версия Gemini от Google опередила свой более продвинутый аналог, набрав 77,5 баллов против 76 у Gemini Advanced.
Лотт предполагает, что с увеличением вычислительных возможностей, через 4-10 лет Claude-6 сможет дать корректные ответы на все вопросы, опередив по умственным способностям большинство людей. Он также предполагает, что следующая итерация ChatGPT, учитывая разницу в тестовых показателях между ChatGPT-3.5 и ChatGPT-4, может достичь уровня IQ примерно в 106 баллов.
В заключение специалист подчеркивает: развитие ИИ идет быстрыми темпами, что может привести к существенным трансформациям в обществе. Несмотря на это, чат-боты испытывают трудности с визуализацией правильных ответов, что является одним из ограничений их уровня развития.