vLLM

高吞吐量 LLM 推理和服务引擎，使用 PagedAttention 技术，比 HuggingFace 快 24 倍