参数量、显存和推理速度：选模型之前你需要知道的硬件常识
这篇文章解决什么问题你想在自己的电脑上跑一个 Hermes 模型。打开 Hugging Face 一看——8B、70B、405B，这些数字和你的显卡有什么关系？你的 RTX 4060 能跑 70B 吗？量化是怎么回事？选错了模型会不会把显卡...
共 2 篇相关文章
这篇文章解决什么问题你想在自己的电脑上跑一个 Hermes 模型。打开 Hugging Face 一看——8B、70B、405B，这些数字和你的显卡有什么关系？你的 RTX 4060 能跑 70B 吗？量化是怎么回事？选错了模型会不会把显卡...
量化是什么，为什么需要它Hermes 3 系列有多个参数规模：8B、70B、405B。以 70B 为例，原始的 FP16（半精度浮点）权重文件大约 140GB——光是把模型载入显存就需要两三张 A100 80GB。这对绝大多数个人用户和中小...