Hermes + Dify:零代码搭建 AI 工作流
写代码搭 AI 应用是一种方式,但不是每个场景都值得从头写。特别是一些标准化的需求——客服问答、文档总结、数据提取——用可视化工具拖拖拽拽可能更高效。 Dify 就是这样一个平台。它提供了可视化的工作流编辑器,让你不写一行代码就能搭建 AI...
共 12 篇相关文章
写代码搭 AI 应用是一种方式,但不是每个场景都值得从头写。特别是一些标准化的需求——客服问答、文档总结、数据提取——用可视化工具拖拖拽拽可能更高效。 Dify 就是这样一个平台。它提供了可视化的工作流编辑器,让你不写一行代码就能搭建 AI...
一个模型再聪明,能力也有上限。让一个模型又当程序员又当产品经理又当测试工程师,结果往往是哪个角色都演不好。 但如果你让多个 Agent 各自扮演一个角色,互相讨论、互相检查呢?这就是多 Agent 协作的思路。微软的 AutoGen 框架就...
上一篇聊了 AutoGen 的多 Agent 协作,今天换一个框架——CrewAI。 如果说 AutoGen 像是给你一堆零件让你自己组装,CrewAI 更像是一个开箱即用的团队管理工具。它用三个核心概念把多 Agent 协作简化了:Age...
本地部署 Hermes 当然好,但不是所有时候都方便——出门在外用手机、换了一台没 GPU 的电脑、或者团队里有人不想折腾环境配置。这时候你需要一个云端的方案。 OpenRouter 就很适合这个场景。它是一个模型 API 聚合平台,背后对...
为什么要搞工具调用大语言模型再聪明,也有搞不定的事——算术不精确、没法查实时数据、不能操作外部系统。解决方案就是给模型配上”工具”,让它在需要的时候调用外部函数来补齐能力。 这就是 Function Calling(函数调用),或者更通用的...
模型输出 JSON 到底难在哪你让 Hermes 回答一个问题,它能给你写一篇通顺的文章。但你让它把答案按照一个固定的 JSON 格式输出,事情就变得微妙了。 难点不在于模型”不会”输出 JSON——几乎所有主流大模型都见过海量的 JSON...
量化是什么,为什么需要它Hermes 3 系列有多个参数规模:8B、70B、405B。以 70B 为例,原始的 FP16(半精度浮点)权重文件大约 140GB——光是把模型载入显存就需要两三张 A100 80GB。这对绝大多数个人用户和中小...
RAG 是什么,为什么需要它大语言模型有一个根本性的局限:它只知道训练数据里的东西。你问它公司内部的产品文档、最新的技术规范、昨天刚更新的 API 文档,它一概不知道。 传统的解决思路是微调——把你的数据喂给模型重新训练。但微调成本高、周期...
什么时候该微调先泼一盆冷水:大部分场景不需要微调。 如果你的需求是让模型掌握特定领域的知识(比如公司产品资料),用 RAG 方案 就够了。如果你的需求是让模型按特定格式输出,好好写 System Prompt 通常能解决。 微调真正有价值的...
上下文窗口决定了什么上下文窗口(Context Window)就是模型一次能”看到”的文本长度上限。Hermes 3 基于 Llama 3.1 架构,原生支持 128K token 的上下文窗口——大约相当于 10 万字中文或一本中等篇幅的...
System Prompt 到底干了什么System Prompt 是你和模型之间的”契约”——它定义了模型在接下来的对话中应该扮演什么角色、遵守什么规则、用什么方式回答问题。 在 Hermes 使用的 ChatML 格式里,system ...
为什么要把模型包成 API本地跑 Hermes 做实验很方便,但一旦要给多个应用或多个用户使用,你就需要一个 API 服务了。 把 Hermes 包成 API 有几个好处: 统一接口 — 前端、后端、移动端都通过同一个 API 调用模型 ...