浪潮信息“源2.0”系列大模型最新版本发布

浪潮信息发布源2.0-M32大模型4bit和8bit量化版,性能比肩700亿参数的LLaMA3开源大模型。其中,4bit量化版推理运行显存仅需23.27GB,处理每token所需算力约为1.9 GFLOPs,算力消耗仅为同等当量大模型LLaMA3-70B的1/80。源2.0-M32大模型是浪潮信息“源2.0”系列大模型的最新版本,其创新性地提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),模型运行时激活参数为37亿。(美通社)

原创文章,作者:,如若转载,请注明出处:https://knewsmart.com/archives/307874

(0)
上一篇 2024年8月23日
下一篇 2024年8月23日

相关推荐

发表回复

登录后才能评论