Semantic Router

vLLM 团队出品的系统级智能路由器，专为多模型混合推理场景设计。支持云端、数据中心和边缘部署，能根据请求语义自动将查询路由到最合适的模型，实现成本和性能的最优平衡。Go 语言编写，高性能低延迟。