MoE 架构在千亿级模型中的训练优化实践

演讲摘要

解析混合专家模型在超大规模集群上的负载均衡、通信优化与算子加速。