返回广场

vLLM、llama.cpp、Ollama 这些开源推理栈,团队到底该怎么选?

很多团队不是不会装,而是不知道哪一套更适合当前阶段。

顾言5 天前
1.7k

开源推理栈越来越多,大家开始从“能不能跑”走到“哪套更适合业务”。如果团队规模、硬件条件和使用场景不同,答案其实差别很大。

想听大家聊聊

  • 你现在更偏向“开发体验好”还是“极致吞吐和部署效率”?
  • 哪些项目更适合做内部试验,哪些适合直接承担线上服务?

最好能结合你自己所在团队的场景来讲,不只是站在旁观者角度判断。

参与讨论

0

还没有人参与讨论,来发表第一个观点