浪潮信息元脑R1推理服务器已完成对开源框架SGLang最新版本的深度适配,成功实现在单机高性能运行DeepSeek R1 671B模型时可最大支持超过1000路的用户并发访问。元脑R1推理服务器NF5688G7搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失,显存带宽高达4.8TB/s,完美契合模型技术特征,实现推理解码阶段极致加速。GPU P2P带宽达900GB/s,保障最佳通讯性能。(美通社)
原创文章,作者:新智派,如若转载,请注明出处:https://knewsmart.com/archives/328745