Можно долго спорить о способности нейросетей к творчеству, созданию нового, а можно просто применить те же тесты, которые применяют для оценки креативности людей. Исследователи из университета Монтаны так и поступили: они использовали Torrance Tests of Creative Thinking. В статье рассказываем, какие результаты они получили и может ли ChatGPT обойти по креативности людей.
Как проводили опыт
Новое исследование, проведенное Университетом Монтаны и его партнерами, показывает, что искусственный интеллект может сравниться с 1% лучших мыслителей-людей по результатам стандартного теста на креативность.
Исследование проводилось под руководством доктора Эрика Гузика (Erik Guzik), доцента-клинициста Колледжа бизнеса Университета Монтаны. Он и его коллеги выбрали «Тесты творческого мышления Торренса» — известный инструмент, который уже несколько десятилетий используется для оценки творческих способностей человека. Тест является защищенным запатентованным материалом, поэтому ChatGPT не может обмануть его, получив информацию о вопросах в Интернете или в общедоступной базе данных.
Кто участвовал в тестировании
Представили 8 ответов ChatGPT и контрольной группы из 24 студентов университета, которые посещают занятия по предпринимательству и личным финансам. Кроме того, полученные результаты сравнивались с ответами 2700 студентов колледжей, которые стали тест Торренса в 2016 году. Все работы оценивала служба тестирования Scholastic Testing Service, которая не знала, что в опыте участвует искусственный интеллект.
Что показали тесты
По результатам стандартного теста на креативность для людей ChatGPT, в частности, GPT-4 вошел в 1% лучших по оригинальности (способности придумывать новые идеи) и в 3% лучших по параметру «беглости» (то есть умению генерировать большой объем идей максимально быстро). То есть ИИ превзошел большинство студентов колледжей в национальном тесте на креативность.
Ученых удивило то, насколько хорошо ИИ генерирует оригинальные идеи, что считается отличительной чертой человеческого воображения. Экспертам, которые проводили тестирование, дали списки типичных ответов на запрос. Однако ИИ оказался в топе по количеству новых неожиданных ответов.
Определенно, это можно назвать новым достижением для ChatGPT. Это открытие свидетельствует о том, что ИИ может развивать творческие способности наравне с человеком или даже превосходить его. Ведущий исследователь Эрик Гузик полагает, что ИИ с его стремительным развитием станет ключевым инструментом для инноваций и предпринимательства в бизнесе.