AWS Machine Learning Blog· Ananth Raghavendra·· 3 天前AI 评分42
使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 推出面向多节点部署的 Ray LLM DLC，可在 Amazon EKS 上将单个大语言模型部署于两个 GPU 节点，并以一个 OpenAI 兼容端点提供服务。
来源：AWS Machine Learning Blog · aws.amazon.com