AWS Machine Learning Blog· Mona Mona·· 2 天前AI 评分26
Amazon SageMaker AI 上的 Mixture-of-Experts kernel engineering 实践
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 团队在 Amazon SageMaker AI 上针对 fused MoE 模型开展 kernel engineering，通过 Swap-AB 将矩阵乘法转置以适配 NVIDIA Hopper 的 WGMMA 硬件布局，在 H200 上取得 2–4% 的端到端输出吞吐提升。
来源：AWS Machine Learning Blog · aws.amazon.com