Token 到底是什么:大模型计费与上下文窗口的基础知识
一个你早晚要搞懂的概念如果你在用大模型——不管是在线聊天还是调用 API——你一定会反复遇到一个词:Token。 「这个模型支持 128K token 的上下文」「API 按 token 数量计费」「你的对话已经超出了 token 上限」 ...
共 2 篇相关文章
一个你早晚要搞懂的概念如果你在用大模型——不管是在线聊天还是调用 API——你一定会反复遇到一个词:Token。 「这个模型支持 128K token 的上下文」「API 按 token 数量计费」「你的对话已经超出了 token 上限」 ...
上下文窗口(Context Window)可能是普通用户最容易感知到的一个模型参数。你往对话框里粘贴一篇长文章,模型说”太长了处理不了”——这就是上下文窗口的限制。 Hermes 系列从最初的 2K 一路扩展到 512K,每次扩展背后都涉及...