> 自媒体 > (AI)人工智能 > 锐龙AI Max+ 395本地部署实战DeepSeek V4蒸馏模型
锐龙AI Max+ 395本地部署实战DeepSeek V4蒸馏模型
来源:中关村在线
2026-05-07 16:34:06
122
管理

【ZOL中关村在线原创评测】4月24日,DeepSeek V4预览版正式上线并且同步开源,直接拿下了开源模型的NO.1的王座,可以说是在五一假期前给AI行业带来了新的震撼。

DeepSeek V4 Pro版拥有1.6万亿参数,激活参数仅49B,极致的稀疏化设计兼顾了算力成本与token成本。与更大参数量的闭源模型相比,V4在编程和数学解题领域达到了同等量级。此外,V4 Flash版本的成本优势相当明显,百万token输入价格仅0.02元,输出仅2元,V4 Pro版本的输入价格仅0.025元,输出价格也仅为6元。可以说是加量不加价的一款开源大模型,而且这也意味着百万超长上下文成为了官方服务的出厂标配,而不再是需要花很多的成本的增值服务。

目前,普通用户也可以通过LM Studio或者Ollama等工具来本地部署和使用DeepSeek V4,不过鉴于原本模型的参数量过于庞大,普通硬件很难带动,所以笔者建议个人使用的话可以下载Qwen 3.5-9B-DeepSeek V4-Flash版模型,这个模型以Qwen 3.5为基础,通过DeepSeek V4蒸馏高质量数据,形成了仅9B参数量的蒸馏模型,对于普通用户而言是足够用了。

总计给出了6种实现方法以及对应代码。笔者请教了专业的程序员老师,他对这些答案给出了非常高的评价。

最终生成速度为8.14 tok/s,总生成token数为1862个。虽然不够快,但是能用,而且答案质量与其它9B参数大模型相比要好很多。

接下来看看数学问题,我们给出的问题是“当m为何值时,方程3x^2 2x m-8=0”,这里我们特意没有给出m的完整条件。此前这个问题难倒了很多大模型,使其陷入死循环的思考之中,而且一些大模型无法意识到条件缺失,即便给出答案往往也是在乱答,DeepSeek V4表现如何?一起来看看。

在进行推理时,DeepSeek V4第一时间就提示我们这个问题缺失条件,接下来DeepSeek V4做了几种条件的设定与解释,总体推理耗时1分52秒。此前我们测试的某8B模型单单在推理这一步就陷入了长达50分钟的思考,看来DeepSeek V4并没有落入我们预设的陷阱。

最终DeepSeek V4根据设定的不同条件,给出了这个问题的多种答案,总体生成速度为8.01 tok/s,总生成token数为1673个。

此前不少大模型在14B参数量以下是基本没法用的,生成的答案相当不靠谱,且遇到一些陷阱问题时会陷入死循环,或者给出一些错误答案或极其简单的答案。而Qwen 3.5-9B-DeepSeek V4-Flash虽然参数量只有9B,但是从DeepSeek V4中蒸馏出来高质量数据后,整个大模型的能力相当靠谱,后续再做一些推理速度方面的优化,完全是可以部署在本地使用的。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
DeepSeek V4高调发布 美国:不能让世界建立在中国的开源模型之上..
2026年四月底,DeepSeek突然放出V4预览版,这事直接冲进全球科技圈的热搜..
“又要被降维打击了”:DeepSeek V4开源,为什么懂行的人都在慌?..
DeepSeekV4开源,不是来送温暖的,是来重新发牌的。70B参数以上的模型,..
定了,DeepSeek V4首发华为芯片!国产AI开始打破英伟达「垄断」..
来源:市场资讯(来源:爱范儿)星期五中午,本该是盘算周末去哪嗨的黄金..
DeepSeek V4实测:普通人想玩本地部署,你的电脑显卡达标了吗?..
现在很多普通人用AI,普遍都有一个很迷惑的现状。一边是各大平台网页版A..
详解 DeepSeek V4:Infra 巨鲸 “四连击”,百万上下文走进现实..
系统级耦合优化比单点创新更难。访谈丨程曼祺整理丨付自文、李清旸上周五..
美国慌了!DeepSeekV4打破垄断,AI价格打骨折,普通人也能用得起..
最近AI圈爆出天大新闻——DeepSeekV4正式发布了!它的出现,可不是简单的..
DeepSeek V4灰测体验:快速模式、专家模式到底怎么选?..
刚刚我看了一下 DeepSeek 的新界面,目前能明确看到的是两种模式:快速模..
英伟达慌了!DeepSeek 4.0全面转投华为昇腾,成本大跳水!..
DeepSeek 4.0正式发布,这款领跑全球的开源大模型,让华为的昇腾算力芯片..
DeepSeek V4「叫好不叫座」:模型只是入场券,Codex才是决赛圈..
去年 DeepSeek V3 发布时,整个 AI 圈的气氛,和今年完全不一样。那时候..
关于作者
轻随风之舞..(普通会员)
文章
2000
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行

成员 网址收录40418 企业收录2986 印章生成263660 电子证书1157 电子名片68 自媒体107717

0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索