微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本

品玩6月27日讯,据微软官方消息,微软研究人员日前推出了名为 ZeRO++ 的新技术,可显著减少大模型训练时间和成本。

ZeRO++ 建立在 ZeRO 传输技术基础上,提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。

微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。

原创文章,作者:,如若转载,请注明出处:https://knewsmart.com/archives/166466

(0)
上一篇 2023年6月27日 下午5:57
下一篇 2023年6月27日 下午5:58

相关推荐

发表回复

登录后才能评论