Учёные провели исследование, в результате которого испытуемые не смогли отличить ответы ChatGPT от ответов реального человека, благодаря чему искусственный интеллект впервые прошёл знаменитый тест Тьюринга. Открытие подтвердило опасения экспертов, что активное внедрение ИИ будет иметь широкомасштабные социальные и экономические последствия.

Тест Тьюринга — впервые опубликованное в 1950 году тестирование, где испытуемый на основании ответов на вопросы должен определить, разговаривает ли он с человеком или компьютерной программой. Задача компьютерной программы — ввести человека в заблуждение, заставив сделать неверный выбор.

Для проведения теста авторы исследования попросили 500 человек поговорить с четырьмя собеседника, включая реального человека, ИИ эпохи 1960-х годов ELIZA, а также чат-ботов на основе языковых моделей GPT-3.5 и GPT-4. Длительность разговора составляла пять минут, после чего испытуемых просили ответить, состоялся ли диалог с настоящим человеком или же с компьютером.

В беседе с GPT-4 около 54% человек ошибочно посчитали, что перед ними находится реальный собеседник. ELIZA спутали с человеком в 22% случаев. GPT-3.5 набрал 50% ошибочных мнений, в то время как реального участника узнали в 67% случаев.