llama.cpp

经典开源本地推理项目，适合 CPU、轻量 GPU 和边缘设备上的模型运行。