浪潮信息元脑R1服务器助力DeepSeek模型高效推理

浪潮信息元脑R1推理服务器已完成对开源框架SGLang最新版本的深度适配,成功实现在单机高性能运行DeepSeek R1 671B模型时可最大支持超过1000路的用户并发访问。元脑R1推理服务器NF5688G7搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失,显存带宽高达4.8TB/s,完美契合模型技术特征,实现推理解码阶段极致加速。GPU P2P带宽达900GB/s,保障最佳通讯性能。(美通社)

原创文章,作者:新智派,如若转载,请注明出处:https://knewsmart.com/archives/328745

(0)
上一篇 2025年2月27日 上午11:12
下一篇 2025年2月27日 上午11:12

相关推荐

发表回复

登录后才能评论