OmniRouteby Cheaper Inference
OmniRoute 已加入 Cheaper Inference了解 Cheaper Inference

#1 开源 AI 路由器

通过一个 OpenAI 兼容端点在 352 家提供商之间路由,并自动故障转移。

试用 Cheaper Inference自托管 OmniRoute (在新标签页中打开)
OpenAI 兼容 免费且开源77.2k star (在新标签页中打开)

OmniRoute × Cheaper Inference

把 OmniRoute 的自动故障转移和开发者工具,与 Cheaper Inference 按成本排序的市场结合起来。每个符合条件的请求都从最便宜的可用提供商路由开始。

97 个模型直连标价与 Cheaper Inference 价格的对比
按模型对比直连标价与 Cheaper Inference 价格
模型输入价格输出价格节省上下文详情
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokens省 60%1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokens省 60%1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokens省 59.52%128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokens省 50%1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokens省 50%1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens省 45%128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens省 45%198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokens省 45%128K
显示 97 个模型中的 8 个
直连标价 → Cheaper Inference 价格 · 浏览所有模型 · 查看实时目录 (在新标签页中打开)价格核查于 2026年10月14日 UTC 14:00。上游定价或可用路由变化时费率可能变动。

核心控制

一个端点,接入你配置的所有提供商。

Core control

让请求不中断

当某个目标不可用或配额耗尽时,OmniRoute 会选择下一个健康的目标。

Core control

压缩符合条件的上下文

12 引擎流水线可将符合条件的上下文减少 15–95%。文档中的工具密集型示例减少了 ~89%。

Core control

$0 起步

90+ 个免费额度,以及 56 家周期性或免密钥的永久免费提供商。免密钥快速上手无需信用卡。

Core control

支持 35 种集成

通过一个端点配置 Claude Code、Codex、Cursor、Cline、Copilot、Antigravity 及其他受支持的客户端。

Core control

一个端点

在 /v1 接收 OpenAI、Claude、Gemini 和 Responses API 请求。

Core control

运维控制

熔断器、加密凭据、MCP、A2A、记忆、护栏和评估随自托管网关一并提供。

提供商目录

全部在一个端点之后。

目录涵盖聊天、媒体、搜索、本地运行时、云端代理和系统集成。

352 家提供商

全部藏在一个本地端点之后。

所有客户端指向的同一个端点http://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code、Codex、Cursor、GitHub Copilot、Kimi Code…
233API 密钥OpenAI、Anthropic、Groq、NVIDIA、Cerebras、Mistral…
35网页 CookieChatGPT Web、Claude Web、Gemini Web、Grok Web…
14本地Ollama、LM Studio、vLLM、llama.cpp…
13无需认证OpenCode Free、Felo、Pollinations 及其他免密钥路由…
查看提供商参考 (opens in a new tab)

快速上手

安装、运行、连接。

安装软件包,启动网关,然后把任意 OpenAI 兼容客户端指向端口 20128。

提供商目录
352
路由策略
19
本地端点
:20128/v1

Step 1: 安装

全局安装 omniroute npm 包。

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: 运行

在端口 20128 同时启动 API 和控制台。

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: 连接你的工具

使用 http://localhost:20128/v1;全新安装即可使用免密钥的 auto 路由。

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

网关控制

一个进程内的核心网关控制。

在本地控制台配置故障转移、配额、压缩、记忆、MCP 和 A2A。

Gateway control

智能组合

把模型设为 auto,或用 19 种策略和分层故障转移构建自己的组合。

使用现成模式,或围绕你关心的目标组合 19 种策略。

Gateway control

记忆

持久化对话记忆,支持 FTS5 关键词和 Qdrant 向量召回。

Gateway control

3 层弹性防护

提供商熔断、连接冷却和模型锁定,在最小有效范围内隔离故障。

Gateway control

免费配额

跨 90+ 个免费额度的池去重计量。

公开的免费额度容量,去重后统计。

Gateway control

压缩

12 个可组合引擎,处理工具输出、上下文和响应风格。

将符合条件的 token 减少 15–95%。

Gateway control

MCP 服务器

内置服务器,在 33 个作用域中暴露 110 个网关工具。

110 个工具 · 33 个作用域 · stdio / HTTP

Gateway control

A2A 协议

具备 6 项技能的 JSON-RPC 代理服务器。

6 项技能 · JSON-RPC 2.0 · Agent Card

Gateway control

语义缓存

重复请求可直接从缓存返回,响应头会报告由此节省的开销。

X-OmniRoute-Cache: HIT

客户端兼容性

继续用你现有的编码工具。

把 OpenAI 兼容的 CLI 或编辑器指向一个本地 base URL;背后的提供商由 OmniRoute 处理。

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

在 Copilot Chat 中使用 OmniRoute 模型。

OmniCopilot 把 OmniRoute 模型加入现有的模型选择器。

官方 Marketplace

支持 VS Code 稳定版和 Insiders。可从 Marketplace 或扩展视图安装。

Open VSX Registry

适用于 Cursor、Windsurf、VSCodium、Theia、code-server、Gitpod 及其他兼容编辑器。

无需 Copilot 订阅

提供商模型可通过 OmniRoute 在 Copilot Chat 中运行,推理无需经过 Copilot 订阅。

VS Code Marketplace (在新标签页中打开)Open VSX Registry (在新标签页中打开)OmniCopilot source (在新标签页中打开)

常见故障模式

为什么选 OmniRoute

看看每种常见故障模式对应哪项控制。

Without routing
With OmniRoute
配额没用完就过期
跟踪并用尽你已有的额度
速率限制让任务中途卡住
4 层自动故障转移,毫秒级完成
工具输出烧掉大量 token
12 引擎压缩,符合条件的内容减少 15–95%
昂贵的 API 费用不断累积
成本优化路由可选择最便宜的合格目标
每个工具都要单独配置
一个端点,一个控制台
某个提供商在你的网络中不可用
代理作用域和客户端指纹控制
一个失效密钥拖垮整个提供商
熔断、冷却和锁定隔离故障
团队共用一份订阅
密钥池和公平共享配额
你需要在本地掌控路由数据
本地优先存储,凭据加密
看不到支出和健康状况
用量、配额、节省和延迟分析

文档快照

网关对比

各项能力已于 2026-08-30 对照所链接的项目文档核查。

能力OmniRoute (在新标签页中打开)9Router (在新标签页中打开)LiteLLM (在新标签页中打开)CLIProxyAPI (在新标签页中打开)
提供商35240+100+8+ upstreams
路由策略193-tierretry / priorityround-robin / fill-first
带 UI 的分层故障转移YesYesManual policyMulti-account
Token 压缩12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

基于公开 README 和官方文档快照;在采购或部署决策前请核实所链接的来源。

部署

9 种受支持的 OmniRoute 运行方式。

安装到笔记本、服务器或手机上,或通过受支持的编辑器和插件连接。

npm

在任意受支持的桌面系统上一条命令搞定

npm install -g omniroute打开指南 (在新标签页中打开)

Docker

AMD64 和 ARM64 多架构镜像

docker run … diegosouzapw/omniroute打开指南 (在新标签页中打开)

Desktop

Windows、macOS 和 Linux 上的原生窗口与系统托盘

npm run electron:build打开指南 (在新标签页中打开)

ARM

Raspberry Pi、ARM 服务器和 Apple Silicon

native arm64

Android · Termux

无需 root 即可在 Android 上运行

pkg install nodejs && npx -y omniroute打开指南 (在新标签页中打开)

PWA

全屏、支持离线、可从浏览器安装

Add to Home Screen打开指南 (在新标签页中打开)

OpenCode plugin

原生 OpenCode 提供商插件

@omniroute/opencode-provider打开指南 (在新标签页中打开)

VS Code

Copilot Chat 选择器中的 OmniRoute 模型

Install OmniCopilot打开指南 (在新标签页中打开)

From source

自行修改并参与贡献

npm install && npm run dev打开指南 (在新标签页中打开)

路由

选择一条 auto 路由。

使用现成模式,或围绕你关心的目标组合 19 种策略。

模型 · 已启用故障转移autoBalanced default
OpenAI 兼容请求
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

用尽订阅配额

先用完已有配额,再动用付费 API。

priority · fill-first

分散负载

在密钥和账户之间均衡流量,降低速率限制压力。

weighted · round-robin · p2c · least-used · headroom

最便宜优先

路由到成本最低的合格目标。

cost-optimized

上下文感知

把长上下文留给容得下的模型,必要时再中继。

context-relay · context-optimized · cache-optimized

随机

把合格流量分散到各个目标。

random · strict-random

自适应评分

使用 15 因子评分、最近可用记录和感知重置的时间窗口。

reset-window · reset-aware · lkgp · auto · fusion · pipeline

免费额度计量

公开的免费额度容量,去重后统计。

455 条目录条目去重为 40 个周期性额度池;只有公开的正向预算计入头条数字。

1.51B

池去重计量避免共享配额被重复计算。无上限的提供商保持可见,但不会抬高 token 总数。 Checked 2026-08-30.

查看计算方式 (在新标签页中打开)
周期性或免密钥的永久免费提供商56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

上下文压缩

将符合条件的 token 减少 15–95%。

工具输出、重复上下文和臃肿的结构化数据可以在到达模型之前被压缩。

上下文在符合条件的 token 上减少 15–95%

压缩前: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. 压缩后: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

同样的指令。更少需要付费的上下文。

压缩前69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
压缩后19 tokens
sum all list items where value > 0

可组合流水线

  1. Session-Dedup
    丢弃会话中此前已发送过的内容。
  2. CCR
    归档大块内容,按需恢复。
  3. Lite
    应用保守的无损清理。
  4. RTK
    过滤并去重命令和工具输出。
  5. Responses Tool Output
    精简 Responses API 工具载荷。
  6. Headroom
    对表格和结构化数据进行可逆压缩。
  7. Relevance
    保留与最新查询最相关的句子。
  8. Caveman
    使用基于规则的文本浓缩。
  9. Aggressive
    应用更强的已配置裁剪。
  10. LLMLingua-2
    在隔离的 worker 中进行代码安全的语义裁剪。
  11. Ultra
    组合高节省阶段与保护守卫。
  12. OmniGlyph
    紧凑编码符合条件的重复结构。

配置

公开的配置范围~30%x-omniroute-compression: standard

已选择 Standard 压缩。公开范围 ~30%。

控制与输出风格

  • 命名配置与当前选择器
  • 可视化 Compression Studio
  • Anthropic Context Editing
  • 自适应上下文预算调节
  • 按请求的 \
  • 请求头
  • 离线评估工具
  • Token 阈值自动触发
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

控制优先级:请求头 → 组合 → 配置 → 自适应策略 → 默认值。

故障隔离

隔离提供商、连接和模型故障。

一个坏密钥不该拖垮提供商。一个受限模型不该拖垮连接。

模型 ⊂ 连接 ⊂ 提供商
提供商熔断器提供商不健康时,组合路由会跳过它,直到半开探测成功。
连接冷却冷却某个密钥或账户,同级连接继续服务。
模型锁定锁定某个被限速或不可用的模型,同一连接上的其他模型保持可用。

网络控制

网络路由与本地数据控制。

代理作用域控制网络路由,本地优先存储把运行数据留在你的机器上。

三种代理作用域

全局、按提供商或按单个连接路由。

  • 全局 · 按提供商 · 按连接
  • SOCKS5 和 HTTP(S) 代理
  • 代理市场集成

TLS 与客户端指纹控制

匹配受支持的提供商客户端,直至选定的传输层特征。

  • 通过 wreq-js 实现支持 JA3/JA4 的传输
  • 针对提供商的客户端配置
  • IPv4 和 IPv6 出口控制

私密且本地优先

密钥、用量和历史留在你掌控的主机上。

  • 磁盘上的 SQLite,凭据以 AES-256-GCM 加密
  • 无需 OmniRoute 账户
  • 在你选择的基础设施上自托管
俄罗斯中国伊朗古巴土耳其

本地控制台

不用编辑 YAML 就能配置 OmniRoute。

在 localhost:20128/dashboard 管理提供商、组合、分析、健康状况和成本。

localhost:20128/dashboard示例数据
352家提供商已连接
90+个免费额度可用
198本示例中健康
  • Claude Code · OAuth · 在线
  • Cerebras · 免费 · 在线
  • Groq · 冷却示例
  • NVIDIA NIM · 免费 · 在线

代理协议

通过 MCP 和 A2A 暴露 OmniRoute。

OmniRoute 可将其网关暴露给 MCP 客户端、A2A 网络和受支持的云端编码代理。

MCP 服务器

33 个作用域中的 110 个工具,支持 stdio 和 HTTP 传输。

110 个工具 · 33 个作用域 · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

A2A 服务器

6 项技能,覆盖智能路由、配额、发现、成本分析和健康报告,基于 JSON-RPC 2.0。

6 项技能 · JSON-RPC 2.0 · Agent Card

云端代理

通过一个编排界面连接受支持的 Codex、Cursor、Devin 和 Jules 工作流。

Codex · Cursor · Devin · Jules

附加服务

扩展网关。

嵌入式服务

以托管 sidecar 方式运行 Bifrost、9Router 或 CLIProxy,或运行完整的集群配置。

你的知识,进入上下文

把 Notion 和 Obsidian 接入为基于 MCP 的上下文来源。

内置护栏

提示注入检查、可选的 PII 脱敏和标准化安全过滤,不绑定任何提供商。

用量目标

在运维分析之外,跟踪连续记录、成就和实时节省。

来自社区

OmniRoute 的使用与讨论。

看看开发者在 X、Reddit 和 YouTube 上构建、提问和分享的内容。

来自 32 个频道的 32 个视频查看全部 32 个社区视频

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit posts查看所有帖子

公开构建

仓库活动

查看来自已提交 GitHub 快照的 star、fork、贡献者和发布。

  • 11,169fork
  • 832贡献者
  • 281个版本发布
  • 8,942个 PR 合并
  • 5,072个 issue 关闭
  • 30,000个自动化测试

2026-10-16 的快照

Discord

聊天、支持与路线图

(在新标签页中打开)

Telegram

新闻与公告

(在新标签页中打开)

WhatsApp 🌍

全球社区

(在新标签页中打开)

WhatsApp 🇧🇷

Comunidade Brasil

(在新标签页中打开)
认识贡献者 (在新标签页中打开)

OmniRoute by Cheaper Inference

选择运行 OmniRoute 的方式。

自托管 OmniRoute,或从 Cheaper Inference 开始,使用按成本排序的托管网关。

试用 Cheaper Inference 自托管 OmniRoute (在新标签页中打开)