omlx

Apple Silicon 专属的 LLM 推理服务器，支持连续批处理和 SSD 缓存，通过 macOS 菜单栏管理。10K+ Star，适合在 Mac 上跑本地大模型的用户。