本地部署 vs 云端 API：新手用大模型该怎么选
两条路摆在你面前你决定开始认真用大语言模型了。不管是写代码、搞内容创作、做数据分析，还是纯粹玩玩。 这时候你面临一个选择： 路线A：本地部署。 把模型下载到自己的电脑上，用自己的硬件跑。代表方案：Ollama + Hermes。 路线B：云...
#本地部署
共 3 篇相关文章
参数量、显存和推理速度：选模型之前你需要知道的硬件常识
这篇文章解决什么问题你想在自己的电脑上跑一个 Hermes 模型。打开 Hugging Face 一看——8B、70B、405B，这些数字和你的显卡有什么关系？你的 RTX 4060 能跑 70B 吗？量化是怎么回事？选错了模型会不会把显卡...
Hermes + Ollama：三步在自己电脑上跑起大模型
我记得第一次想在自己电脑上跑大模型的时候，光是看那些 CUDA 版本、PyTorch 编译、模型格式转换的教程就头大了。折腾了大半天，最后还是报错退出。 后来发现了 Ollama 这个工具，说实话有点后悔没早点用——整个流程简单到离谱，三条...