2026年10月26日 · 阅读 —

HiRoute:给 Codex 和 Claude Code 装一个会省钱的模型路由器

Agent 与 Skills测试与评测

HiRoute:给 Codex 和 Claude Code 装一个会省钱的模型路由器

用 Codex 或 Claude Code 干活的人,多少都有同一个感觉:订阅费在烧,可很多请求只是读代码、查资料这种常规活,让最强模型来处理有点浪费。

问题是,又不敢随便换便宜模型。谁知道当前这一步难不难?用错了,返工更贵。

GitHub 上的 HiRoute 想的办法是把”这话该谁干”单独拿出来,交给一个判断模型去决定,然后让便宜模型干常规活,把最强模型省下来处理难的部分。项目主页第一句写得很直接:“Make Codex and Claude Code subscriptions go further”——让订阅花得更值。

先横向看看市面上几种做法,再讲它是怎么运作的。

先看看同类都在怎么玩

做法要不要额外花钱在哪用主要解决什么
一个订阅模型全程干活花订阅费官方客户端省心,但常规活也用贵的
手动切换模型看下一句决定费劲,靠人盯想省钱,但判断跟不上
HiRoute 这类路由器可接订阅/API/本地模型本地桌面端/命令行自动判断难易,分别派活

最简单粗暴的办法就是全程用最强模型,缺点是常规活也按最贵算。手动切换省钱,但是得盯着每一句话猜它难不难,人先累死。HiRoute 把”判断难易”这一步也自动化了:它本地跑,接上你的订阅、API key 或者本地模型,再配一个判断模型,剩下的事就让它盯着。

它是个什么

HiRoute 是 higress-group 下的一个开源项目,Apache 2.0 协议,本地运行的桌面应用(macOS)或者无界面的命令行工具(Linux),当前有 stable 版本发布。它不新建一个模型,而是当 Codex、Claude Code 这类 Agent 客户端和后台模型之间的一层调度:每个新任务进来,先判断难易,再决定让哪个模型干。

它的工作方式,说穿了就三层。

第一层,判断这一步难不难。 HiRoute 配了一个”判断模型”(内置支持阿里云百炼、OpenRouter Jev、TypeSafe 等接口),专门回答一个问题:当前这句话是简单活还是复杂活。默认当简单概率到 0.8 就派给便宜模型,否则留下给主力模型。

第二层,守住质量底线。 如果发现便宜模型在前一个环节干得不好(有一个”能力分数”低于默认 0.5 的门槛),下一步就自动升回主力模型。这条规则概括起来就是:便宜有便宜的前提,能力先及格才能省钱。

第三层,同一轮对话里尽量不换来换去。 工具调用过程中保持当前模型不变,只在用户发新消息、或者上下文被压缩重建时才重新判断。这样缓存不容易丢,省钱的效果不会因为频繁切换被吃掉。

换个便宜模型,缓存丢了怎么办

这是刚接触这思路的人第一反应的问题:模型一换,前面积累的上下文缓存就作废了,省的钱会不会又吐回去?

源码配套的文章里专门算过这笔账,结论是损失一次、摊薄到后面、方向往往还更省钱。几组真实数字:

  • 一次 40 个请求的编码任务里,35 个请求直接沿用了上一轮的模型选择,只在开头和两次压缩附近重新判断,占比 87.5%。
  • 一次切换只影响切换后的第一个请求(旧前缀要重算一次),后面的请求又会重新命中缓存。
  • 便宜模型往往比贵模型便宜一个量级:实验里 Qwen 3.8 Flash 的单价大约是 Astra 的百分之一。同样 10 万 token 的旧上下文,从 Astra 切到 Qwen 重算一遍,还要省约 0.08 美元;反方向切回 Astra 才会多掏钱。

所以方向本身就在省钱:常规活扔给便宜模型,缓存损失和它比是零头。配套实验里,混合路由比全程用最强模型省了 91%~92% 的成本;就算把缓存损失全算进去,也在 90% 以上,因为便宜模型的账单大头本来就在输出,缓存折扣只影响输入这一小块。

它实际跑起来是什么样子

HiRoute 提供四种路由模式:固定模型、难度路由、自定义分支、免费优先。难度路由就是上面说的”按难易派活”;自定义分支可以把”写草稿”和”审查”拆成两条线,各配各的模型。

每次会话结束,它记录下实际跑了哪个模型、花了多少钱、这一步干得怎么样,能力分数挂在对应的任务阶段上。这些记录反过来又成为下一次判断的输入——不是玄学拍板,是累积的执行证据。

独立的小任务还能委派给别的 Agent 并行处理;想完全自己掌握判断逻辑的人,可以接自定义扩展接口(官方给了 OpenAPI 说明和一个可部署的参考实现 Jev),把”判断、打分、上下文裁剪”都收在自己手里。

站在测试开发的角度看

这套东西对测试工程最戳的点,不是省钱,而是把”该由谁来干”做成了可配置、可回查的一条规则——这恰好是测试里最缺的东西。

回想一下压测、回归、接口冒烟这些场景:大量执行其实是同样的常规路径,真正要动脑子的翻来覆去就那几个。如果用 HiRoute 的思路,可以给测试流程配两级:日常冒烟和回归丢给便宜模型批量跑,定位根因、设计新的边界用例这类要推理的活留给主力。每一轮跑完都有成本记录和执行证据,这跟测试报告要”可回查、可追溯”是同一套要求。

业务侧也一样:客服、资料问答、文档审核这类高频重复的问询,完全可以让经济模型顶在前面,命中不了标准再升级到强模型。省钱是一层,更重要的是把”升级什么、什么时候升级”从拍脑袋变成有一条明确的分数门槛。

落地前要看清的几点

  • 它是本地跑的桌面/命令行工具,已提供 macOS 桌面版和 Linux 无界面版;用之前要接上自己的订阅、API 或本地模型。
  • 内置判断模型要连一家支持的服务(百炼、OpenRouter Jev、TypeSafe 或兼容接口),连接需要凭据;不想用内置的可以自建扩展服务。
  • 缓存能不能命中,还取决于上游模型服务商的缓存规则和生命周期,不是路由器单方面能保证的。

仓库地址:https://github.com/higress-group/HiRoute。 常规活交给便宜模型、难的留给主力,这种分工方式对 AI 测试和日常业务都有地方能套上。

#HiRoute #模型路由 #Claude #Codex #AI测试 #成本优化 #Agent