浪潮信息推出“源2.0-M32”开源大模型

浪潮信息5月28日发布了开源大模型“源2.0-M32”。该模型采用“基于注意力机制的门控网络”技术,构建了包含32个专家的混合专家模型(MoE),显著提升算力效率。它在业界评测中与700亿参数的LLaMA3大模型性能相当,但算力消耗仅为其1/19。此外,“源2.0-M32”基于2万亿token进行训练,涵盖广泛数据类型,并通过创新算法和数据处理方法优化性能和精度。该模型支持代码生成、理解及推理等功能,并可通过全面开源策略免费下载使用。(美通社)

原创文章,作者:,如若转载,请注明出处:https://knewsmart.com/archives/300045

(0)
上一篇 2024年5月30日
下一篇 2024年5月30日

相关推荐

发表回复

登录后才能评论