找回密码
 立即注册
搜索
热搜: 香港 澳门 客服
查看: 43|回复: 0

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级

[复制链接]

4210

主题

1

回帖

1万

积分

管理员

积分
12961
发表于 2025-7-30 23:00:56 | 显示全部楼层 |阅读模式
快科技7月30日消息,AMD Zen5架构的锐龙AI Max+ 395,是第一个可以在本地运行700亿参数AI大模型的平台,当然需要搭配128GB统一内存,而现在,AMD奉上重磅升级,1280亿参数大模型都可以在本地运行了!
当然,能做到这一点的还是只有锐龙AI Max+ 395,还是必须搭配128GB统一内存,并分配96GB作为显存,而且必须在Vulkan llama.cpp环境下。
驱动方面需要搭配还在测试阶段的25.10 RC 24版本,下个月初将会变成正式版25.8.1。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级




唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级




唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级




唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级



这使得锐龙AI Max+ 395成为第一个能在本地运行1090亿参数的Meta Llama 4 Sout大模型的平台,体积多达66GB,活跃参数最多170亿,并支持Vision、MCP。
这得益于该模型使用了混合专家(MoE)模式,每次只激活模型的一部分,从而保持性能可用,锐龙AI Max+ 395实测可以做到每秒15 Tokens。
同时,锐龙AI Max+ 395还可以跑68GB体积、1230亿参数的Mistral Large,至于18GB、300亿参数的Qwen3 A3B、17GB、270亿参数的Google Gemma,自然更是不在话下。
当然,锐龙AI Max+ 395还支持各种各样的模型尺寸、量化格式,包括GGUF。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级




唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级




唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级



同样重要的是,锐龙AI Max+ 395升级支持了更大的上下文尺寸,从传统的4096 Tokens左右,一举来到了惊人的256000 Tokens,从而能够分析、汇总更大规模的文档等数据资料。
不过这里需要注意,得开启Flash Attention、Q8 KV Cache。
对于一般的非大规模模型,32000 Tokens的上下文就足够用了,锐龙AI Max+ 395则提供了新的可能,而以往如此超大规模的上下文,往往需要几万十几万的设备才能实现。
锐龙AI Max+ 395、128GB配置的迷你AI工作站,价格已经低至1.3万元左右,可以说性价比是相当高了。

唯一本地跑1280亿参数大模型!AMD锐龙AI Max+ 395重磅升级








您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

CC官方1999年成立以来【CC】命名又称:CC国际| CC集团| CC彩球网| CC平台| CC网投| 等等...亚洲最安全的博彩系统供货商,业界首屈一指博彩营运系统品牌。客户服务团队全年无休,24小时竭诚为您提供服务,解决问题,倾听建议,以确保能在第一时间处理用户的需求和解答疑问。

GMT+8, 2025-9-1 14:04 , Processed in 0.130483 second(s), 18 queries .
欢迎长远眼光有识之士加入CC【群英会】跟对人合作一辈子。

Powered by Discuz! X3.5

CC集团官方直營招商

合作共赢_共谋发展

快速回复 返回顶部 返回列表
即时
传讯