> 自媒体 > (AI)人工智能 > Generative AI——GPT-3(四)
Generative AI——GPT-3(四)
来源:千株松生物
2023-05-04 22:32:09
719
管理

AI正在创造对训练数据的爆炸性需求

2020年,训练最先进的GPT-3的成本为460万美元。根据我们的模型,到2030年,训练一个比GPT-3多57倍参数和720倍符号的AI模型的成本将从今天的170亿美元下降到60万美元。

举例来说,维基百科的42亿单词大约代表56亿个符号。到2030年,训练一个包含162万亿单词或216万亿符号的模型应该是可能的。在一个低成本计算的世界里,数据将成为主要的约束。

目前的GPT-3能力与2030年的预计能力

预计能力

Sources: ARKInvestmentManagement LLC, 2023.. Wikipedia 2023; Hoffmann, J. etal. 2022. Forecasts are inherently limited andcannotbe relied upon. For informational purposes onlyandshouldnotbeconsideredinvestmentadvice ora recommendation to buy, sell, or hold any particular security. Past performance is not indicative of future results.

来源:ARK投资管理有限责任公司,2023..维基百科2023;Hoffmann, J.等,2022。预测能力本身是有限的,不能依赖。仅供参考,不应被视为投资建议或购买、出售或持有任何特定证券的建议。过去的表现并不代表将来的结果。

专有数据可以创建护城河

高质量的特定领域人工智能训练数据可能会在垂直应用中导致赢家通吃的结果。

训练模型

自动驾驶

2
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
NeurIPS 2025放榜:阿里Qwen门控注意力获最佳论文
嘻疯 发自 凹非寺量子位 | 公众号 QbitAI刚刚,NeurIPS 2025最佳论文奖、..
阿里千问开源4款Qwen3.5小尺寸模型,满足资源受限至轻量应用不同需求..
【太平洋科技快讯】3月3日消息,阿里千问近日开源四款Qwen3.5更小尺寸模..
实测Qwen3.6-27B:4分钟做了个跑酷游戏,验证码识别正确率超90%..
它用时四分钟左右,写完了1200多行代码。从实测结果来看,游戏设计与前端..
阿里亲身入局具身智能!Qwen内部组团,通义千问技术负责人带队..
衡宇 发自 凹非寺量子位 | 公众号 QbitAIQwen团队内部组建了一个全新的具..
Qwen紧追OpenAI开源4B端侧大模型,AIME25得分超越Claude 4 Opus..
衡宇 发自 凹非寺量子位 | 公众号 QbitAI三天不开源,Qwen团队手就痒。昨..
Qwen又立功,全球最快开源模型诞生,超2000 tokens/秒
全球最快的开源大模型来了——速度达到了每秒2000个tokens!虽然只有320..
激活170亿参数 Qwen3.5实测 重构大模型性价比逻辑
2月16日Qwen3.5正式开源,以3970亿总参数、仅170亿激活参数的架构实现性..
Qwen最新闭源模型曝光!实测夸克“对话助手”
10月23日,阿里旗下夸克正式上线“对话助手”。从界面上看,它像是“塞进..
林俊旸离职后,Qwen的变与不变
来源:视觉中国OpenAI早期也曾采用垂直整合的架构模式,并集中资源完成了..
关于作者
婆罗花开(普通会员)
文章
1940
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体106516

2
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索