参数量、显存和推理速度：选模型之前你需要知道的硬件常识
这篇文章解决什么问题你想在自己的电脑上跑一个 Hermes 模型。打开 Hugging Face 一看——8B、70B、405B，这些数字和你的显卡有什么关系？你的 RTX 4060 能跑 70B 吗？量化是怎么回事？选错了模型会不会把显卡...
共 2 篇相关文章
这篇文章解决什么问题你想在自己的电脑上跑一个 Hermes 模型。打开 Hugging Face 一看——8B、70B、405B，这些数字和你的显卡有什么关系？你的 RTX 4060 能跑 70B 吗？量化是怎么回事？选错了模型会不会把显卡...
新手最常见的困惑你打开 Hugging Face，搜索 Hermes，出来一堆结果： Hermes-2-Pro-Mistral-7B Hermes-3-Llama-3.1-8B Hermes-3-Llama-3.1-70B Hermes-...