PromptForge
Back to list
othernvidiainferencedistributedllm

ai-dynamo/dynamo

NVIDIA推出的数据中心级分布式推理服务框架,支持大规模LLM部署,优化GPU利用率和推理吞吐量,适合企业级AI推理场景。

14 views0 stars4/10/2026

NVIDIA推出的数据中心级分布式推理服务框架,支持大规模LLM部署,优化GPU利用率和推理吞吐量,适合企业级AI推理场景。