克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

GPT-4的图形推理能力，竟然连人类的一半都不到？

美国圣塔菲研究所的一项研究显示，GPT-4做图形推理题的准确率仅有33%。

而具有多模态能力的GPT-4v表现更糟糕，只能做对25%的题目。

而多模态的GPT-4v，准确率反而更低，在一个48道题组成的小规模ConceptARC数据集中，零样本和单样本测试的准确率分别只有25%和23%

再来看GPT这边的操作，多模态版本比较简单，直接传图然后用这样的提示词就可以了：

零样本测试中，则只要去掉相应的EXAMPLE部分。

但对于不带多模态的纯文本版GPT-4（0613），则需要把图像转化为格点，用数字来代替颜色。

针对这种操作，就有人表示不认同了：

把图像转换成数字矩阵后，概念完全变了，就算是人类，看着用数字表示的“图形”，可能也无法理解

无独有偶，斯坦福的华人博士生Joy Hsu也用几何数据集测试了GPT-4v对图形的理解能力。

这个数据集发表于去年，目的是测试大模型对欧氏几何的理解，GPT-4v开放后，Hsu又用这套数据集给它测试了一遍。

结果发现，GPT-4v对图形的理解方式，似乎“和人类完全不同”。

数据上，GPT-4v对这些几何问题的回答也明显不如人类。

论文地址：[1]https://arxiv.org/abs/2305.07141[2]https://arxiv.org/abs/2311.09247参考链接：[1]https://news.ycombinator.com/item?id=38331669[2]https://twitter.com/joycjhsu/status/1724180191470297458

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态