机器智能的极限挑战：GPT-4在图灵测试中败给了60年前的ELIZ

转眼至今日，GPT-4以其强大的多任务执行能力和复杂语境应对被誉为「地表最强」AI模型。然而，在UCSD团队组织的图灵测试中，情况发生了戏剧性逆转。该实验涉及25个不同提示设计（Language Model Witness），旨在模拟真实对话场景。这些提示包含拼写错误、语法变化和人格建议等元素，挑战AI系统回应用户查询时保持高度逼真度。

令人震惊地是，在此次测试中，ELIZA显示出意想不到的韧性和适应性，其成功率达到27%，超过了GPT-4在任何提示下得到的最高成功率41%。即便是比较新一代GPT-3.5和ELIZA时，后者同样表现出色。这说明提示设计对于图灵测试结果具有显著影响。

研究小组进一步分析审问者采取的策略，并将这些策略分类为闲聊、知识与推理检验、情境意识等几种类型。他们发现判定对象是否为AI或人类时考虑因素包括语言风格、社交情感以及知识内容等方面。

值得注意的是，尽管GPT-4展示出强大功能和进步，在本次图灵测试中却未能满足通过标准——也就是说其成功率未达到50%。研究指出良好设计的提示可能是关键因素之一。

那么ELIZA为何会有如此出色表现呢？分析认为原因可能包括它那稳健保守且反应迟钝无特定AI特征的回答方式；有些审问者甚至认为它表现太差劲可能是故意不合作倾向强烈的人类参与者。

此外，文章提醒我们实验结果可能存在偏差：人类参与者表现被低估而AI系统表现被高估。这种偏见可能来源于测试结构和评判标准本身。

文章最后提出深刻反思：图灵测试并非衡量智能有效手段；审问者所持先入为主观念以及他们对AI能力范围内高阶推理使用可能导致判断扭曲。

总体来看，UCSD团队公布了详细实验设计、精确数据统计和深入洞察分析，并通过他们新近发布结果揭示了图灵测试背后复杂性质以及在不同条件下对话模型展现出来认知界限。这份报告不仅折射出AI技术发展速度之快速变幻无常，更重要地启示我们重新思考如何评价和定义机器智慧水平。