vLLM

高吞吐、内存友好的开源推理与服务引擎，适合需要部署大模型服务的团队。