DeepSpeed 与 ZeRO

约 48 个字 预计阅读时间不到 1 分钟

https://mp.weixin.qq.com/s/4rd4_UlFpprXkvW79Ou5MQ

https://mp.weixin.qq.com/s/K3UQ4TLACIn-SnnP2MI7oQ

DeepSpeed 官方文档：https://www.deepspeed.ai/DeepSpeed

ZeRO 文档：https://www.deepspeed.ai/tutorials/zero/

ZeRO 论文：https://arxiv.org/abs/1910.02054

ZeRO-Offload 论文：https://arxiv.org/abs/2101.06840

ZeRO-Infinity 论文：https://arxiv.org/abs/2104.07857

DeepSpeed 实战视频：https://www.bilibili.com/video/BV1hb421E7WY/

DeepSpeed 详解：https://blog.csdn.net/zwqjoy/article/details/130732601

分布式训练方法汇总：https://zhuanlan.zhihu.com/p/598714869