Bifrost AI Gateway

号称比 LiteLLM 快 50 倍的企业级 AI 网关，支持 1000+ 模型，内置自适应负载均衡、集群模式、安全护栏，延迟低于 100 微秒（5k RPS 下）。Go 语言编写，适合高并发 AI 应用。