本地部署 vs 云端 API：新手用大模型该怎么选
两条路摆在你面前你决定开始认真用大语言模型了。不管是写代码、搞内容创作、做数据分析，还是纯粹玩玩。 这时候你面临一个选择： 路线A：本地部署。 把模型下载到自己的电脑上，用自己的硬件跑。代表方案：Ollama + Hermes。 路线B：云...
#Ollama
共 4 篇相关文章
Hermes + Ollama：三步在自己电脑上跑起大模型
我记得第一次想在自己电脑上跑大模型的时候，光是看那些 CUDA 版本、PyTorch 编译、模型格式转换的教程就头大了。折腾了大半天，最后还是报错退出。 后来发现了 Ollama 这个工具，说实话有点后悔没早点用——整个流程简单到离谱，三条...
推理平台横评：Ollama vs vLLM vs llama.cpp vs TGI 跑 Hermes 谁更快
模型选好了，下一个问题就是：用什么框架来跑？ 同一个 Hermes 模型，在不同的推理框架上跑出来的速度、资源占用、并发能力可能差好几倍。选错框架等于白白浪费硬件投入。 今天拿四个最主流的本地推理框架——Ollama、vLLM、llama....
五美元 VPS 跑 AI Agent：Hermes 极致低成本部署方案
谁说玩 AI 一定要烧钱一提到跑大模型，大部分人脑子里浮现的画面是：机房里一排排 A100 显卡，风扇嗡嗡作响，电表刷刷转。 但实际情况是，很多 AI 应用场景根本不需要这么大的算力。你只是想有一个 24 小时在线的 AI 助手，能处理一些...