Shimmy

零Python依赖的Rust本地推理服务器，支持GGUF和SafeTensors格式，OpenAI API兼容，单二进制文件部署，支持热模型切换和自动发现