Чат-бот «Элиза», написанный в 1966 году, прошел тест Тьюринга лучше, чем ChatGPT. Программа задумана как пародия на диалог с психотерапевтом, и она использует технику активного слушания.
Что известно
Британский математик, криптограф и пионер в области искусственного интеллекта Алан Тьюринг однажды задался вопросом о возможности создания машины, способной мыслить и взаимодействовать с людьми на естественном уровне. В 1950 году он разработал тест, который впоследствии стал известен как тест Тьюринга, и который используется для оценки способности искусственного интеллекта имитировать человеческое поведение.
Тест Тьюринга проводится следующим образом: пользователь общается с чат-ботом и человеком, не зная, кто из них кто. Затем он пытается определить, кто был человеком, а кто — чат-ботом, на основе их ответов на вопросы. Цель чат-бота — обмануть пользователя и заставить его сделать неправильный выбор. Если пользователь не может отличить чат-бота от человека в течение определенного времени, чат-бот считается прошедшим тест. Однако некоторые эксперты считают этот тест субъективным, поскольку нет единого мнения о том, что считать успешным прохождением теста.
Исследователи из Калифорнийского университета в Сан-Диего провели онлайн-версию теста Тьюринга с целью определить, какая из моделей искусственного интеллекта — GPT-4, GPT-3.5 или ELIZA — сможет наиболее успешно обмануть пользователя. Всего в опыте участвовали 652 человека. Они общались с моделями искусственного интеллекта или другими людьми, пытаясь угадать, кто есть кто.
Почему это важно
27% опрошенных идентифицируют ELIZA как человека. Для GPT-3.5 эта величина не превышает 14%.Такое могло произойти по двум причинам. Во-первых, ChatGPT настроен разговаривать формально и не выражать мнения, что делает его менее похожим на человека. Во-вторых, тест Тьюринга устарел и, возможно, уже не подходит для проверки современных моделей, хотя раньше его считали золотым стандартом.