> 自媒体 > (AI)人工智能 > 聊天机器人ChatGPT在软件编程问题上的错误回答超过一半时间
聊天机器人ChatGPT在软件编程问题上的错误回答超过一半时间
来源:老孙科技前沿
2023-08-13 14:16:15
330
管理
ChatGPT错误回答问题的研究结果

根据普渡大学的一项研究,OpenAI的聊天机器人ChatGPT在软件编程问题上的错误回答超过一半的时间。研究团队对517个Stack Overflow问题的ChatGPT回答进行了评估,分析了回答的正确性、一致性、全面性和简洁性。研究还包括了语言和情感分析以及参与者的反馈。

研究结果显示,52%的ChatGPT回答是错误的,77%的回答冗长不明确。然而,尽管如此,由于其全面性和表达清晰的语言风格,ChatGPT回答仍然在39.34%的时间内被优先选择。在被优先选择的回答中,77%是错误的。

ChatGPT的网站上承认其软件可能会提供关于人、地点或事实的不准确信息。对于普渡大学的研究,OpenAI实验室尚未对其发表评论。

研究还发现,只有当ChatGPT回答中的错误显而易见时,用户才能识别出错误。如果错误难以验证或需要外部集成开发环境或文档,用户经常无法识别出回答的不正确性或低估错误的程度。

研究人员还观察到,即使答案有明显的错误,仍有两名参与者将ChatGPT回答标记为首选。这可能是因为ChatGPT的回答采用了愉快、权威的风格。

研究人员建议Stack Overflow改进评论和回答中的有毒和负面情绪的检测方法,提高情感和礼貌。他们还建议Stack Overflow提供更具体的指导方针,帮助回答者以逐步、注重细节的方式构建答案。

ChatGPT回答与Stack Overflow回答的比较

研究还发现,与Stack Overflow的帖子相比,ChatGPT的回答包含更多的"驱动属性",表明了成就或完成目标的意愿,但不经常描述风险。

此外,ChatGPT更容易出现概念性错误,而不是事实性错误。许多答案之所以错误,是因为ChatGPT无法理解被问问题的基本背景。

从语言分析和情感分析来看,ChatGPT的回答更加正式,表达更多的分析思维,展示了更多实现目标的努力,并且表现出更少的负面情绪。ChatGPT的回答表达了比Stack Overflow回答更多的积极情绪。

Stack Overflow的挑战

对于Stack Overflow来说,有一些积极的消息。在一项研究中,60%的受访者发现由人类撰写的答案更正确、简洁和有用。

然而,尽管具体数量存在争议,Stack Overflow的使用似乎有所下降。根据SimilarWeb的报告,自2022年1月以来,每月访问量下降了6%,3月份下降了13.9%。这可能是由于ChatGPT的使用导致的。

Stack Overflow所属的Stack Exchange社区成员也注意到了类似的趋势,表现为新问题活动的下降、新答案的下降以及新用户注册的下降。

Stack Overflow的发言人对SimilarWeb的评估表示异议,指出公司进行了一些关于流量报告和时间比较的改变,这可能影响了报告的结果。

关于研究结果,Stack Overflow的发言人表示,公司没有时间研究这份报告。他们指出,Stack Overflow重视AI生成内容的准确性,并通过OverflowAI提供了检查、验证、归因和确认Stack Overflow社区的答案的能力。

总的来说,ChatGPT在回答软件编程问题时存在一定的错误率,但由于其全面性和表达清晰的语言风格,仍然受到用户的青睐。然而,研究表明Stack Overflow可以改进回答的可发现性、情感和礼貌,并提供更具体的指导方针。Stack Overflow也面临着来自ChatGPT的竞争,但具体的影响尚不确定。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
出海模式进化,中国汽车的全球视野与价值远征
宁德时代在匈牙利建电池工厂,蔚来在匈牙利布局能源体系,从车身到底盘,..
消费者4S店购车被要求签署“保证书” 东风日产:公司无强制要求,涉事企业..
大皖新闻讯近日,消费者王成(化名)向大皖新闻反映称,其与亲属在广东佛..
4S店的机油和保养为啥比外面贵?总算弄明白了
一直有朋友问我,同样是换机油做保养,4S店的价格比外面维修店贵不少,到..
4S店服务争议分析:五类高发投诉问题与成功率解析
在汽车消费市场中,4S店作为品牌与消费者直接交互的渠道,其服务规范性直..
新车买来6天,4S店销售员一个没注意撞了!车主协商未果把车卖了,贬值3.5万..
沈阳的李先生反映,他在4S店刚买新车,才6天,41公里,到4S店请教新功能..
揭秘4S店暗藏套路,买车不踩雷
买车时4S店为何不让你当天提车?前员工揭秘其中暗藏的套路。买车时4S店为..
探寻汽车4S店哪家强,口碑好售后维修出色的品牌盘点..
在汽车消费市场中,挑选一家靠谱的汽车4S店至关重要,它不仅关乎购车的价..
4S店保养避坑终极指南:技师私藏的真相,这些项目白送钱都别做..
“本来只想做500块的小保养,最后花了2800!”刚从4S店出来的张先生拿着..
吃过亏才懂,4S店和修理厂保养的真相,别再瞎省钱
前些年买车总听人说,外面修理厂保养便宜,能省不少钱,抱着贪便宜的心思..
关于作者
冰冷的开会..(普通会员)
文章
1878
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体105053

0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索