llama.cpp

纯C/C++实现的LLM推理引擎，支持CPU和多种硬件，轻量高效