OmniRouteby Cheaper Inference
OmniRoute đã gia nhập Cheaper InferenceKhám phá Cheaper Inference

AI Router mã nguồn mở #1

Định tuyến qua 352 nhà cung cấp thông qua một endpoint tương thích OpenAI, với fallback tự động.

Dùng thử Cheaper InferenceTự host OmniRoute (mở trong tab mới)
Tương thích OpenAI Miễn phí và mã nguồn mở77.5k star (mở trong tab mới)

OmniRoute × Cheaper Inference

Kết hợp fallback tự động và công cụ cho lập trình viên của OmniRoute với marketplace xếp hạng theo chi phí của Cheaper Inference. Mọi request đủ điều kiện bắt đầu từ route nhà cung cấp rẻ nhất khả dụng.

97 mô hìnhGiá niêm yết trực tiếp so với giá Cheaper Inference
Giá niêm yết trực tiếp so với giá Cheaper Inference theo mô hình
Mô hìnhGiá đầu vàoGiá đầu raTiết kiệmNgữ cảnhChi tiết
gpt-5.6-lunaOpenAI · text$0.20$0.08/ 1M tokens$1.20$0.48/ 1M tokensGiảm 60%1.1M
gpt-5.6-terraOpenAI · text$2.00$0.80/ 1M tokens$12.00$4.80/ 1M tokensGiảm 60%1.1M
gpt-oss-120bOpenAI · text$0.10$0.040483/ 1M tokens$0.50$0.202417/ 1M tokensGiảm 59.52%128K
deepseek-v4.1-flashDeepSeek · text$0.15$0.075/ 1M tokens$0.60$0.30/ 1M tokensGiảm 50%1.0M
gpt-5.6-solOpenAI · text$4.00$2.00/ 1M tokens$20.00$10.00/ 1M tokensGiảm 50%1.1M
glm-4.5Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensGiảm 45%128K
glm-4.6Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensGiảm 45%198K
glm-4.7Z.ai · text$0.60$0.33/ 1M tokens$2.20$1.21/ 1M tokensGiảm 45%128K
Đang hiện 8 trong 97 mô hình
Giá niêm yết trực tiếp → giá Cheaper Inference · Duyệt mọi mô hình · Xem danh mục trực tiếp (mở trong tab mới)Giá kiểm tra 14:00 UTC 14 thg 10, 2026. Mức giá có thể thay đổi khi giá upstream hoặc các route khả dụng thay đổi.

Kiểm soát cốt lõi

Một endpoint cho các nhà cung cấp bạn đã cấu hình.

Core control

Giữ request luôn chạy

Khi một đích không khả dụng hoặc hết hạn mức, OmniRoute chọn đích khỏe mạnh tiếp theo.

Core control

Nén ngữ cảnh đủ điều kiện

Pipeline 12 engine giảm 15–95% ngữ cảnh đủ điều kiện. Ví dụ nặng về tool trong tài liệu đã giảm được ~89%.

Core control

Bắt đầu với $0

90+ gói miễn phí và 56 nhà cung cấp miễn phí vĩnh viễn định kỳ hoặc không cần key. Không cần thẻ tín dụng cho khởi động nhanh không cần key.

Core control

35 tích hợp được hỗ trợ

Cấu hình Claude Code, Codex, Cursor, Cline, Copilot, Antigravity và các client được hỗ trợ khác qua một endpoint.

Core control

Một endpoint

Nhận request OpenAI, Claude, Gemini và Responses API tại /v1.

Core control

Kiểm soát vận hành

Circuit breaker, thông tin đăng nhập mã hóa, MCP, A2A, memory, guardrail và eval đi kèm gateway tự host.

Danh mục

Tất cả sau một endpoint.

Danh mục bao gồm chat, media, tìm kiếm, runtime cục bộ, cloud agent và tích hợp hệ thống.

352 nhà cung cấp

Tất cả, sau một endpoint cục bộ duy nhất.

Endpoint duy nhất mà mọi client trỏ tớihttp://localhost:20128/v1

14 Search12 Audio-only2 Upstream proxy3 Cloud agent1 System
OpenAIAnthropicGoogleDeepSeekxAIZ.aiMoonshotMiniMaxAlibabaMetaBytedanceAion Labs
25OAuthClaude Code, Codex, Cursor, GitHub Copilot, Kimi Code…
233API keyOpenAI, Anthropic, Groq, NVIDIA, Cerebras, Mistral…
35Cookie webChatGPT Web, Claude Web, Gemini Web, Grok Web…
14Cục bộOllama, LM Studio, vLLM, llama.cpp…
13Không cần xác thựcOpenCode Free, Felo, Pollinations và các route không cần key khác…
Xem tài liệu tham chiếu nhà cung cấp (opens in a new tab)

Bắt đầu nhanh

Cài đặt, chạy, kết nối.

Cài package, khởi chạy gateway, rồi trỏ bất kỳ client tương thích OpenAI nào tới cổng 20128.

Danh mục nhà cung cấp
352
Chiến lược định tuyến
19
Endpoint cục bộ
:20128/v1

Step 1: Cài đặt

Cài package npm omniroute ở phạm vi toàn cục.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Chạy

Khởi chạy API và dashboard cùng lúc trên cổng 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Kết nối công cụ của bạn

Dùng http://localhost:20128/v1; route auto không cần key hoạt động ngay trên bản cài mới.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

Kiểm soát gateway

Các kiểm soát gateway cốt lõi trong một tiến trình.

Cấu hình fallback, hạn mức, nén, memory, MCP và A2A từ dashboard cục bộ.

Gateway control

Smart Combos

Đặt mô hình là auto hoặc tự tạo combo với 19 chiến lược và fallback phân tầng.

Dùng chế độ sẵn có hoặc kết hợp 19 chiến lược xoay quanh mục tiêu quan trọng.

Gateway control

Memory

Memory hội thoại bền vững với truy hồi từ khóa FTS5 và vector Qdrant.

Gateway control

Khả năng chịu lỗi 3 lớp

Breaker nhà cung cấp, cooldown kết nối và khóa mô hình cô lập lỗi ở phạm vi nhỏ nhất hữu ích.

Gateway control

Hạn mức miễn phí

Kế toán khử trùng lặp theo pool trên 90+ gói miễn phí.

Dung lượng gói miễn phí đã công bố, khử trùng lặp.

Gateway control

Nén

12 engine có thể kết hợp cho output của tool, ngữ cảnh và kiểu phản hồi.

Giảm 15–95% token đủ điều kiện.

Gateway control

MCP server

Server tích hợp sẵn cung cấp 110 công cụ gateway trên 33 phạm vi.

110 công cụ · 33 phạm vi · stdio / HTTP

Gateway control

Giao thức A2A

Agent server JSON-RPC với 6 kỹ năng.

6 kỹ năng · JSON-RPC 2.0 · Agent Card

Gateway control

Cache ngữ nghĩa

Request lặp lại có thể trả về từ cache, và header phản hồi cho biết đã tiết kiệm được gì.

X-OmniRoute-Cache: HIT

Tương thích client

Giữ nguyên công cụ lập trình hiện có.

Trỏ CLI hoặc editor tương thích OpenAI tới một base URL cục bộ; OmniRoute xử lý các nhà cung cấp phía sau.

Claude Code
Codex CLI
Cursor
Cline
GitHub Copilot
Gemini CLI
OpenCode
Kilo Code
Factory Droid
Continue
Roo Code
Antigravity
Aider
OpenClaw
Goose
Grok Build
Windsurf
Devin CLI

http://localhost:20128/v1

request.sh
curl http://localhost:20128/v1/chat/completions \
  -H "Authorization: Bearer $OMNIROUTE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Hello"}]}'

OmniCopilot

Dùng mô hình OmniRoute trong Copilot Chat.

OmniCopilot thêm mô hình OmniRoute vào trình chọn mô hình hiện có.

Marketplace chính thức

Hoạt động trên VS Code bản ổn định và Insiders. Cài từ Marketplace hoặc khung Extensions.

Open VSX Registry

Dành cho Cursor, Windsurf, VSCodium, Theia, code-server, Gitpod và các editor tương thích khác.

Không cần gói Copilot

Mô hình của nhà cung cấp có thể chạy qua OmniRoute trong Copilot Chat mà không định tuyến suy luận qua gói Copilot.

VS Code Marketplace (mở trong tab mới)Open VSX Registry (mở trong tab mới)OmniCopilot source (mở trong tab mới)

Các lỗi thường gặp

Vì sao OmniRoute

Xem kiểm soát nào giải quyết từng lỗi thường gặp.

Without routing
With OmniRoute
Hạn mức hết hạn mà chưa dùng
Theo dõi và dùng hết hạn mức bạn đã có
Giới hạn tốc độ chặn bạn giữa việc
Tự động fallback 4 tầng trong vài mili giây
Output của tool đốt token
Nén 12 engine, 15–95% trên nội dung đủ điều kiện
API đắt đỏ cộng dồn
Định tuyến tối ưu chi phí có thể chọn đích đủ điều kiện rẻ nhất
Mỗi công cụ cần thiết lập riêng
Một endpoint và một dashboard
Nhà cung cấp không truy cập được từ mạng của bạn
Phạm vi proxy và kiểm soát fingerprint client
Một key hỏng làm hỏng cả nhà cung cấp
Breaker, cooldown và lockout cô lập lỗi
Cả nhóm dùng chung một gói thuê bao
Pool key và hạn mức chia sẻ công bằng
Bạn cần kiểm soát cục bộ dữ liệu định tuyến
Lưu trữ ưu tiên cục bộ với thông tin đăng nhập mã hóa
Không thấy được chi tiêu hay tình trạng
Phân tích sử dụng, hạn mức, tiết kiệm và độ trễ

Ảnh chụp tài liệu

So sánh các gateway

Các khả năng được kiểm tra dựa trên tài liệu dự án được liên kết vào 2026-08-30.

Khả năngOmniRoute (mở trong tab mới)9Router (mở trong tab mới)LiteLLM (mở trong tab mới)CLIProxyAPI (mở trong tab mới)
Nhà cung cấp35240+100+8+ upstreams
Chiến lược định tuyến193-tierretry / priorityround-robin / fill-first
Fallback phân tầng có UIYesYesManual policyMulti-account
Nén token12 engines · 15–95%RTK / Headroom / CavemanNo built-in pipelineHTTP compression

Ảnh chụp README công khai và tài liệu chính thức; xác minh các nguồn được liên kết trước khi quyết định mua hoặc triển khai.

Triển khai

9 cách được hỗ trợ để chạy OmniRoute.

Cài trên laptop, server hoặc điện thoại, hoặc kết nối qua editor và plugin được hỗ trợ.

npm

Một lệnh trên mọi hệ điều hành desktop được hỗ trợ

npm install -g omnirouteMở hướng dẫn (mở trong tab mới)

Docker

Image đa kiến trúc AMD64 và ARM64

docker run … diegosouzapw/omnirouteMở hướng dẫn (mở trong tab mới)

Desktop

Cửa sổ native và system tray trên Windows, macOS và Linux

npm run electron:buildMở hướng dẫn (mở trong tab mới)

ARM

Raspberry Pi, server ARM và Apple Silicon

native arm64

Android · Termux

Chạy trên Android không cần root

pkg install nodejs && npx -y omnirouteMở hướng dẫn (mở trong tab mới)

PWA

Toàn màn hình, sẵn sàng offline và cài được từ trình duyệt

Add to Home ScreenMở hướng dẫn (mở trong tab mới)

OpenCode plugin

Plugin nhà cung cấp OpenCode native

@omniroute/opencode-providerMở hướng dẫn (mở trong tab mới)

VS Code

Mô hình OmniRoute trong trình chọn Copilot Chat

Install OmniCopilotMở hướng dẫn (mở trong tab mới)

From source

Tùy chỉnh mã nguồn và đóng góp

npm install && npm run devMở hướng dẫn (mở trong tab mới)

Định tuyến

Chọn một route auto.

Dùng chế độ sẵn có hoặc kết hợp 19 chiến lược xoay quanh mục tiêu quan trọng.

Mô hình · đã bật fallbackautoBalanced default
Request tương thích OpenAI
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Dùng hết hạn mức thuê bao

Dùng hạn mức bạn đã có trước khi đụng tới API trả phí.

priority · fill-first

Phân tải

Cân bằng lưu lượng giữa các key và tài khoản để giảm áp lực giới hạn tốc độ.

weighted · round-robin · p2c · least-used · headroom

Rẻ nhất trước

Định tuyến tới đích đủ điều kiện có chi phí thấp nhất.

cost-optimized

Nhận biết ngữ cảnh

Giữ ngữ cảnh dài trên mô hình phù hợp, rồi chuyển tiếp khi cần.

context-relay · context-optimized · cache-optimized

Ngẫu nhiên

Phân phối lưu lượng đủ điều kiện giữa các đích.

random · strict-random

Chấm điểm thích ứng

Dùng chấm điểm 15 yếu tố, last-known-good và cửa sổ nhận biết reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Kế toán gói miễn phí

Dung lượng gói miễn phí đã công bố, khử trùng lặp.

455 mục trong danh mục được khử trùng lặp thành 40 pool định kỳ; chỉ ngân sách dương đã công bố mới tính vào con số chính.

1.51B

Kế toán khử trùng lặp theo pool tránh đếm hạn mức dùng chung nhiều lần. Nhà cung cấp không giới hạn vẫn hiển thị mà không làm phồng tổng token. Checked 2026-08-30.

Xem cách tính (mở trong tab mới)
Nhà cung cấp miễn phí vĩnh viễn định kỳ hoặc không cần key56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Nén ngữ cảnh

Giảm 15–95% token đủ điều kiện.

Output của tool, ngữ cảnh lặp lại và dữ liệu có cấu trúc cồng kềnh có thể được nén trước khi tới mô hình.

Ngữ cảnh giảm 15–95% trên token đủ điều kiện

Trước: The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total. Sau: sum all list items where value > 0

  1. Session-Dedup
  2. CCR
  3. Lite
  4. RTK
  5. Responses Tool Output
  6. Headroom
  7. Relevance
  8. Caveman
  9. Aggressive
  10. LLMLingua-2
  11. Ultra
  12. OmniGlyph

Cùng một chỉ dẫn. Ít ngữ cảnh phải trả tiền hơn.

Trước69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
Sau19 tokens
sum all list items where value > 0

Pipeline có thể kết hợp

  1. Session-Dedup
    Bỏ nội dung đã gửi trước đó trong phiên.
  2. CCR
    Lưu trữ các khối lớn và khôi phục khi cần.
  3. Lite
    Áp dụng dọn dẹp không mất dữ liệu thận trọng.
  4. RTK
    Lọc và khử trùng lặp output của lệnh và tool.
  5. Responses Tool Output
    Nén gọn payload tool của Responses API.
  6. Headroom
    Áp dụng nén gọn có thể đảo ngược cho dữ liệu bảng và có cấu trúc.
  7. Relevance
    Giữ các câu liên quan nhất tới truy vấn mới nhất.
  8. Caveman
    Dùng cô đặc văn xuôi theo quy tắc.
  9. Aggressive
    Áp dụng cắt tỉa mạnh hơn theo cấu hình.
  10. LLMLingua-2
    Dùng cắt tỉa ngữ nghĩa an toàn cho code trong worker cô lập.
  11. Ultra
    Kết hợp các giai đoạn tiết kiệm cao với cơ chế bảo toàn.
  12. OmniGlyph
    Mã hóa gọn các cấu trúc lặp lại đủ điều kiện.

Profile

Khoảng đã công bố của profile~30%x-omniroute-compression: standard

Đã chọn nén Standard. Khoảng công bố ~30%.

Kiểm soát và kiểu output

  • Profile có tên và bộ chọn đang hoạt động
  • Visual Compression Studio
  • Anthropic Context Editing
  • Nút điều chỉnh ngân sách ngữ cảnh thích ứng
  • Header \
  • theo từng request
  • Bộ eval offline
  • Tự kích hoạt theo ngưỡng token
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Thứ tự ưu tiên kiểm soát: header request → combo → profile → chính sách thích ứng → mặc định.

Cô lập lỗi

Cô lập lỗi nhà cung cấp, kết nối và mô hình.

Một key hỏng không nên làm hỏng cả nhà cung cấp. Một mô hình bị giới hạn không nên làm hỏng cả kết nối.

mô hình ⊂ kết nối ⊂ nhà cung cấp
Circuit breaker nhà cung cấpKhi nhà cung cấp không khỏe, định tuyến combo bỏ qua nó cho tới khi probe half-open thành công.
Cooldown kết nốiCho một key hoặc tài khoản nghỉ trong khi các kết nối anh em vẫn phục vụ.
Khóa mô hìnhKhóa một mô hình bị giới hạn tốc độ hoặc không khả dụng trong khi các mô hình khác trên kết nối vẫn sẵn sàng.

Kiểm soát mạng

Định tuyến mạng và kiểm soát dữ liệu cục bộ.

Phạm vi proxy kiểm soát định tuyến mạng, còn lưu trữ ưu tiên cục bộ giữ dữ liệu vận hành trên máy của bạn.

Ba phạm vi proxy

Định tuyến toàn cục, theo nhà cung cấp hoặc theo từng kết nối.

  • Toàn cục · theo nhà cung cấp · theo kết nối
  • Proxy SOCKS5 và HTTP(S)
  • Tích hợp marketplace proxy

Kiểm soát fingerprint TLS và client

Khớp với client của nhà cung cấp được hỗ trợ tới từng đặc tính transport được chọn.

  • Transport hỗ trợ JA3/JA4 qua wreq-js
  • Profile client theo từng nhà cung cấp
  • Kiểm soát egress IPv4 và IPv6

Riêng tư và ưu tiên cục bộ

Key, mức sử dụng và lịch sử nằm trên host bạn kiểm soát.

  • SQLite trên đĩa với thông tin đăng nhập mã hóa AES-256-GCM
  • Không cần tài khoản OmniRoute
  • Tự host trên hạ tầng bạn chọn
NgaTrung QuốcIranCubaThổ Nhĩ Kỳ

Dashboard cục bộ

Cấu hình OmniRoute không cần sửa YAML.

Quản lý nhà cung cấp, combo, phân tích, tình trạng và chi phí tại localhost:20128/dashboard.

localhost:20128/dashboardDữ liệu ví dụ
352nhà cung cấp đã kết nối
90+gói miễn phí khả dụng
198khỏe mạnh trong ví dụ này
  • Claude Code · OAuth · hoạt động
  • Cerebras · miễn phí · hoạt động
  • Groq · ví dụ cooldown
  • NVIDIA NIM · miễn phí · hoạt động

Giao thức agent

Mở OmniRoute qua MCP và A2A.

OmniRoute có thể mở gateway cho các MCP client, mạng A2A và cloud coding agent được hỗ trợ.

MCP server

110 công cụ trên 33 phạm vi qua transport stdio và HTTP.

110 công cụ · 33 phạm vi · stdio / HTTP

claude mcp add omniroute --type http --url http://localhost:20128/api/mcp/stream

A2A server

6 kỹ năng cho định tuyến thông minh, hạn mức, khám phá, phân tích chi phí và báo cáo tình trạng qua JSON-RPC 2.0.

6 kỹ năng · JSON-RPC 2.0 · Agent Card

Cloud agent

Kết nối các workflow Codex, Cursor, Devin và Jules được hỗ trợ qua một bề mặt điều phối.

Codex · Cursor · Devin · Jules

Dịch vụ bổ sung

Mở rộng gateway.

Dịch vụ nhúng

Chạy Bifrost, 9Router hoặc CLIProxy làm sidecar được quản lý, hoặc vận hành profile cluster đầy đủ.

Kiến thức của bạn, trong ngữ cảnh

Kết nối Notion và Obsidian làm nguồn ngữ cảnh qua MCP.

Guardrail tích hợp sẵn

Kiểm tra prompt injection, ẩn PII tùy chọn và bộ lọc an toàn chuẩn hóa mà không bị khóa vào nhà cung cấp.

Mục tiêu sử dụng

Theo dõi chuỗi ngày, thành tựu và tiết kiệm trực tiếp bên cạnh phân tích vận hành.

Từ cộng đồng

OmniRoute được dùng và thảo luận thế nào.

Xem lập trình viên đang xây, hỏi và chia sẻ gì trên X, Reddit và YouTube.

32 video từ 32 kênhXem tất cả 32 video cộng đồng

Profile picture of Peng
Peng@pengsonal
Link to tweet (opens in a new tab)
one local endpoint for cursor / cline / claude code / copilot 😳 OmniRoute (24.7k★ on GitHub) runs a self-hosted router on your machine so you only need one base URL for all your coding agents. wha…

25 posts from X · 25 Reddit postsXem mọi bài đăng

Phát triển công khai

Hoạt động kho mã

Xem star, fork, người đóng góp và bản phát hành từ ảnh chụp GitHub đã lưu.

  • 11,226fork
  • 841người đóng góp
  • 281bản phát hành
  • 9,060PR đã merge
  • 5,084issue đã đóng
  • 30,000test tự động

Ảnh chụp từ 2026-10-17

Discord

Trò chuyện, hỗ trợ và roadmap

(mở trong tab mới)

Telegram

Tin tức và thông báo

(mở trong tab mới)

WhatsApp 🌍

Cộng đồng toàn cầu

(mở trong tab mới)

WhatsApp 🇧🇷

Comunidade Brasil

(mở trong tab mới)
Gặp những người đóng góp (mở trong tab mới)

OmniRoute của Cheaper Inference

Chọn cách bạn chạy OmniRoute.

Tự host OmniRoute, hoặc bắt đầu với Cheaper Inference để có gateway hosted xếp hạng theo chi phí.

Dùng thử Cheaper Inference Tự host OmniRoute (mở trong tab mới)