OmniRoute / Rutare și control

Alege cum se mișcă fiecare cerere.

Inspectează strategiile de rutare, contabilizarea nivelurilor gratuite, compresia, izolarea erorilor și controalele de rețea.

Inspectează rutarea Încearcă Cheaper Inference Înapoi la prezentare

Strategii de rutare

Alege o rută `auto` sau construiește-o pe a ta.

Folosește un mod predefinit sau combină 19 strategii în jurul obiectivului care contează.

Model · fallback activatautoBalanced default

Cerere compatibilă OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Consumă cota abonamentului

Folosește cota pe care o ai deja înainte de a atinge API-urile plătite.

priority · fill-first

Distribuie sarcina

Echilibrează traficul între chei și conturi pentru a reduce presiunea rate limit-urilor.

weighted · round-robin · p2c · least-used · headroom

Cel mai ieftin mai întâi

Rutează către cea mai ieftină țintă eligibilă.

cost-optimized

Conștient de context

Păstrează contextele lungi pe modele care le încap, apoi retransmite când e nevoie.

context-relay · context-optimized · cache-optimized

Aleatoriu

Distribuie traficul eligibil între ținte.

random · strict-random

Scor adaptiv

Folosește scoruri pe 15 factori, last-known-good și ferestre conștiente de reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Contabilizare niveluri gratuite

Aproximativ 1.51B tokeni publicați în fiecare lună.

455 intrări din catalog sunt deduplicate în 40 pool-uri recurente; doar bugetele pozitive publicate intră în cifra principală.

1.51B

Contabilizarea deduplicată pe pool-uri împiedică numărarea cotelor partajate de mai multe ori. Furnizorii fără plafon rămân vizibili fără a umfla totalul de tokeni. Checked 2026-08-30.

View the calculation

Furnizori gratuiți permanent, recurenți sau fără cheie56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Compresia contextului

Reduce tokenii eligibili cu 15–95%.

Output-ul tool-urilor, contextul repetat și datele structurate umflate pot fi comprimate înainte să ajungă la model.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Elimină conținutul deja trimis mai devreme în sesiune.
CCR
Arhivează blocurile mari și le restaurează la cerere.
Lite
Aplică o curățare conservatoare, fără pierderi.
RTK
Filtrează și deduplică output-ul comenzilor și al tool-urilor.
Responses Tool Output
Compactează payload-urile de tool-uri Responses API.
Headroom
Aplică compactare reversibilă pentru date tabelare și structurate.
Relevance
Păstrează propozițiile cele mai relevante pentru ultima interogare.
Caveman
Condensează proza pe bază de reguli.
Aggressive
Aplică o tăiere configurată mai agresivă.
LLMLingua-2
Tăiere semantică sigură pentru cod, într-un worker izolat.
Ultra
Combină etape cu economii mari cu gărzi de conservare.
OmniGlyph
Codifică compact structurile repetate eligibile.

Profiles

Interval publicat al profilului~30%x-omniroute-compression: standard

Controls and output styles

Profiluri denumite și selector activ
Visual Compression Studio
Anthropic Context Editing
Buton adaptiv de buget de context
Header \
per cerere
Harness de evaluare offline
Auto-declanșare la prag de tokeni
Terse prose
Less code (YAGNI)
Terse CJK 文言

Precedența controalelor: header de cerere → combo → profil → politică adaptivă → implicit.

Izolarea erorilor

Izolează erorile de furnizor, conexiune și model.

O cheie defectă nu ar trebui să doboare un furnizor. Un model limitat nu ar trebui să doboare o conexiune.

model ⊂ conexiune ⊂ furnizor

Circuit breaker per furnizorCând un furnizor nu e funcțional, rutarea combo îl sare până când o sondă half-open reușește.

Cooldown per conexiunePune în pauză o cheie sau un cont, în timp ce conexiunile vecine continuă să servească.

Blocare per modelBlochează un model limitat sau indisponibil, în timp ce celelalte modele de pe conexiune rămân disponibile.

Controale de rețea și date locale

Controale de rutare în rețea și date locale.

Scope-urile de proxy controlează rutarea în rețea, iar stocarea local-first păstrează datele operaționale pe mașina ta.

Trei scope-uri de proxy

Rutează global, per furnizor sau per conexiune individuală.

Global · per furnizor · per conexiune
Proxy-uri SOCKS5 și HTTP(S)
Integrare cu marketplace-uri de proxy

Controale TLS și client fingerprint

Imită clienții furnizorilor suportați până la caracteristici de transport selectate.

Transport compatibil JA3/JA4 prin wreq-js
Profiluri de client specifice furnizorului
Controale de egress IPv4 și IPv6

Privat și local-first

Cheile, utilizarea și istoricul rămân pe host-ul pe care îl controlezi.

SQLite pe disc cu credențiale criptate AES-256-GCM
Nu e nevoie de cont OmniRoute
Self-host pe infrastructura pe care o alegi

RusiaChinaIranCubaTurcia