SGLang

高性能 LLM 和多模态模型推理服务框架，支持结构化生成、RadixAttention 前缀缓存和多种量化方式，吞吐量领先 vLLM。