OmniRoute / Penghalaan dan kawalan

Pilih cara setiap permintaan bergerak.

Semak strategi penghalaan, perakaunan tier percuma, pemampatan, pengasingan kegagalan dan kawalan rangkaian.

Semak penghalaan Cuba Cheaper Inference Kembali ke gambaran keseluruhan

Strategi penghalaan

Pilih laluan `auto` atau bina sendiri.

Gunakan mod sedia ada atau gabungkan 19 strategi mengikut matlamat yang penting.

Model · fallback diaktifkanautoBalanced default

Permintaan serasi OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Habiskan kuota langganan

Gunakan kuota yang anda sudah ada sebelum menyentuh API berbayar.

priority · fill-first

Agihkan beban

Imbangkan trafik merentas kunci dan akaun untuk mengurangkan tekanan had kadar.

weighted · round-robin · p2c · least-used · headroom

Termurah dahulu

Halakan ke sasaran layak dengan kos terendah.

cost-optimized

Sedar konteks

Kekalkan konteks panjang pada model yang muat, kemudian pindahkan apabila perlu.

context-relay · context-optimized · cache-optimized

Rawak

Agihkan trafik yang layak merentas sasaran.

random · strict-random

Pemarkahan adaptif

Gunakan pemarkahan 15 faktor, last-known-good dan tetingkap sedar tetapan semula.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Perakaunan tier percuma

Kira-kira 1.51B token diterbitkan setiap bulan.

455 entri katalog dinyahpendua kepada 40 kolam berulang; hanya bajet positif yang diterbitkan menyumbang kepada angka utama.

1.51B

Perakaunan tanpa pendua kolam mengelakkan kuota kongsi dikira lebih daripada sekali. Pembekal tanpa had kekal kelihatan tanpa membesarkan jumlah token. Checked 2026-08-30.

View the calculation

Pembekal percuma selamanya yang berulang atau tanpa kunci56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Pemampatan konteks

Kurangkan token yang layak sebanyak 15–95%.

Output alat, konteks berulang dan data berstruktur yang bengkak boleh dimampatkan sebelum sampai ke model.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Buang kandungan yang sudah dihantar lebih awal dalam sesi.
CCR
Arkibkan blok besar dan pulihkan atas permintaan.
Lite
Gunakan pembersihan tanpa kehilangan yang konservatif.
RTK
Tapis dan nyahpendua output perintah dan alat.
Responses Tool Output
Padatkan muatan alat Responses API.
Headroom
Gunakan pemadatan data tabular dan berstruktur yang boleh dipulihkan.
Relevance
Kekalkan ayat yang paling relevan dengan pertanyaan terkini.
Caveman
Gunakan pemadatan prosa berasaskan peraturan.
Aggressive
Gunakan pemangkasan lebih kuat yang dikonfigurasi.
LLMLingua-2
Gunakan pemangkasan semantik selamat kod dalam pekerja terasing.
Ultra
Gabungkan peringkat penjimatan tinggi dengan pengawal pemeliharaan.
OmniGlyph
Kodkan struktur berulang yang layak secara padat.

Profiles

Julat profil yang diterbitkan~30%x-omniroute-compression: standard

Controls and output styles

Profil bernama dan pemilih aktif
Visual Compression Studio
Anthropic Context Editing
Dail bajet konteks adaptif
Setiap permintaan \
header
Harness eval luar talian
Pencetus auto ambang token
Terse prose
Less code (YAGNI)
Terse CJK 文言

Keutamaan kawalan: header permintaan → kombo → profil → polisi adaptif → lalai.

Pengasingan kegagalan

Asingkan kegagalan pembekal, sambungan dan model.

Kunci yang rosak tidak sepatutnya melumpuhkan pembekal. Model yang dihadkan tidak sepatutnya melumpuhkan sambungan.

model ⊂ sambungan ⊂ pembekal

Pemutus litar pembekalApabila pembekal tidak sihat, penghalaan kombo melangkaunya sehingga probe separuh buka berjaya.

Cooldown sambunganRehatkan satu kunci atau akaun sementara sambungan lain terus melayan.

Sekatan modelSekat satu model yang dihadkan kadar atau tidak tersedia sementara model lain pada sambungan itu kekal tersedia.

Kawalan rangkaian dan data lokal

Penghalaan rangkaian dan kawalan data lokal.

Skop proksi mengawal penghalaan rangkaian sementara storan mengutamakan lokal menyimpan data operasi pada mesin anda.

Tiga skop proksi

Halakan secara global, mengikut pembekal atau mengikut sambungan individu.

Global · setiap pembekal · setiap sambungan
Proksi SOCKS5 dan HTTP(S)
Integrasi pasaran proksi

Kawalan cap jari TLS dan klien

Padankan klien pembekal yang disokong hingga ke ciri pengangkutan terpilih.

Pengangkutan berkeupayaan JA3/JA4 melalui wreq-js
Profil klien khusus pembekal
Kawalan egres IPv4 dan IPv6

Peribadi dan mengutamakan lokal

Kunci, penggunaan dan sejarah kekal pada hos yang anda kawal.

SQLite pada cakera dengan kelayakan disulitkan AES-256-GCM
Tiada akaun OmniRoute diperlukan
Hos sendiri pada infrastruktur pilihan anda

RusiaChinaIranCubaTürkiye