Google LiteRT-LM

Google出品的轻量级端侧LLM推理引擎，C++实现，专为移动设备和嵌入式平台优化的大语言模型运行时