> 自媒体 > (AI)人工智能 > 复刻中文chatgpt的难点分析
复刻中文chatgpt的难点分析
来源:三维棱镜
2023-06-29 21:43:17
530
管理
复刻chatGPT的几个难点:

1.资金方面,OpenAI其核心语言模型GPT-3的单次训练成本高达460万美元。如果投资5000万美金,也只够GPT-3进行十次训练。

2.模型方面,OpenAI已经探明道路,也发表了论文,Meta也开源了一个类似的AI大模型,这块相对难度小一些。

3.训练GPU方面,美国已对中国禁售高端GPU,而运行AI大模型需要大量GPU,将影响AI大模型训练。跑通一次100亿以上参数量的GPT模型,至少要1000张GPU卡连续训练一个月。(英伟达A100,价格是五万元一个,GPT-3 参数在1750亿 个参数,chatGPT参数更多)

4.人力方面,训练一个有一两千亿参数的大规模语言模型,需要大量的人工调教和用户数据反馈。

5.语料数据方面,大模型所需的语料。

大量的数据都在互联网上,主要难度在于如何清洗出好数据。清洗数据本是个脏活累活。且中文互联网资料已经孤岛化,数据都在各大互不相通的APP上。如果语料不好,很有可能模型越训练,效果越匪夷所思。

6.中文训练难度更高,中文的语法较英文更松散灵活。

总结

初创公司复刻中文chatgpt成功概率极低。很有可能花了大量资金,最后训练出来的模型与以前的检索模型差不多。

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
去年我国汽车产量是美日德总和的1.5倍!今年有望再创新高..
2025年,全球每卖出三辆新车,就有一辆是中国制造,这个数字有实实在在的..
2026,没有“新技术”?
2026年中国汽车行业的技术演进,呈现出一个共识:没有颠覆性技术涌现,竞..
新技术密集发布,2026补贴少了,反而更适合买高端电车?..
价格战的后遗症还没痊愈,2026的新能源汽车,不止比价格,还要比同价谁给..
YU7销量远超特斯拉!谁能告诉我:到底是谁在买小米汽车啊?..
小米YU7,可以说是继吉利星愿之后,又一台“非典型”神车。1月份,在绝大..
问界汽车回应M9起火事件,称“三电系统正常,将配合调查”..
2 月 23 日,问界汽车发布关于广东省惠州市车辆起火的说明。问界汽车表示..
迈入全新阶段!百年车企官宣
2月23日,法国汽车制造商雷诺集团官方宣布,法国布洛涅-比扬古、瑞典哥德..
奔驰C级纯电版要来了!续航800km,全新平台打造,入华会好卖?..
在奔驰现有的产品体系里,奔驰C级绝对是贡献销量的绝对主力车型,要知道..
德国汽车业逼宫默茨:中国人都不爱买德国车了,必须和中国提要求..
文 | 欧阳立祯 硕士研究生、美国注册管理会计师CMA,高级会计师德国汽车..
未来汽车已来!无人驾驶+全面电动化,整个行业将彻底重构..
二、无人驾驶真正落地,L3量产、L4商业化无人驾驶不再是概念,而是即将普..
关于作者
吴月(普通会员)
文章
1979
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体106194

1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索