OmniRoute / Útválasztás és vezérlés

Válaszd meg, hogyan mozog minden kérés.

Vizsgáld meg az útválasztási stratégiákat, az ingyenes szintek elszámolását, a tömörítést, a hibaizolációt és a hálózati vezérlőket.

Útválasztás vizsgálata Próbáld ki a Cheaper Inference-t Vissza az áttekintéshez

Útválasztási stratégiák

Válassz `auto` útvonalat, vagy építsd meg a sajátodat.

Használj kész módot, vagy kombináld a 19 stratégiát a számodra fontos cél körül.

Modell · fallback bekapcsolvaautoBalanced default

OpenAI-kompatibilis kérés

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Előfizetési kvóta kimerítése

Használd el a meglévő kvótádat, mielőtt fizetős API-khoz nyúlnál.

priority · fill-first

Terhelés elosztása

Oszd el a forgalmat kulcsok és fiókok között, hogy csökkenjen a rate limit nyomása.

weighted · round-robin · p2c · least-used · headroom

Legolcsóbb először

Irányítás a legalacsonyabb költségű jogosult célra.

cost-optimized

Kontextustudatos

Tartsd a hosszú kontextusokat olyan modelleken, amelyekbe beleférnek, majd adj át, ha kell.

context-relay · context-optimized · cache-optimized

Véletlenszerű

Oszd el a jogosult forgalmat a célok között.

random · strict-random

Adaptív pontozás

15 tényezős pontozás, utolsó ismert jó állapot és resetet figyelő ablakok.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Ingyenes szintek elszámolása

Körülbelül 1.51B közzétett token havonta.

455 katalógusbejegyzést 40 ismétlődő poolba deduplikálunk; a fő számot csak a közzétett pozitív keretek táplálják.

1.51B

A poolonként deduplikált elszámolás megakadályozza, hogy a megosztott kvóták többször számítsanak. A korlát nélküli szolgáltatók láthatók maradnak, de nem növelik a tokenösszeget. Checked 2026-08-30.

View the calculation

Ismétlődő vagy kulcs nélküli, örökre ingyenes szolgáltatók56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kontextustömörítés

Csökkentsd a jogosult tokeneket 15–95%-kal.

Az eszközkimenet, az ismétlődő kontextus és a felduzzadt strukturált adat tömöríthető, mielőtt eléri a modellt.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Eldobja a munkamenetben korábban már elküldött tartalmat.
CCR
Archiválja a nagy blokkokat, és igény szerint visszaállítja.
Lite
Konzervatív, veszteségmentes tisztítást végez.
RTK
Szűri és deduplikálja a parancs- és eszközkimenetet.
Responses Tool Output
Tömöríti a Responses API eszköz-payloadjait.
Headroom
Visszafordítható táblázatos és strukturált adattömörítést végez.
Relevance
Megtartja a legutóbbi lekérdezéshez legrelevánsabb mondatokat.
Caveman
Szabályalapú prózatömörítést használ.
Aggressive
Erősebb, beállított metszést alkalmaz.
LLMLingua-2
Kódbiztos szemantikus metszés izolált workerben.
Ultra
Nagy megtakarítású lépések megőrző védelmekkel kombinálva.
OmniGlyph
Kompaktan kódolja a jogosult ismétlődő struktúrákat.

Profiles

Közzétett profiltartomány~30%x-omniroute-compression: standard

Controls and output styles

Nevesített profilok és aktív választó
Vizuális Compression Studio
Anthropic Context Editing
Adaptív kontextuskeret-tárcsa
Kérésenkénti \
fejléc
Offline eval-környezet
Tokenküszöb-alapú automatikus indítás
Terse prose
Less code (YAGNI)
Terse CJK 文言

Vezérlési sorrend: kérésfejléc → kombó → profil → adaptív szabály → alapértelmezés.

Hibaizoláció

Izoláld a szolgáltatói, kapcsolati és modellhibákat.

Egy rossz kulcs ne üssön ki egy szolgáltatót. Egy korlátozott modell ne üssön ki egy kapcsolatot.

modell ⊂ kapcsolat ⊂ szolgáltató

Szolgáltatói circuit breakerHa egy szolgáltató nem egészséges, a kombó-útválasztás kihagyja, amíg egy félig nyitott próba nem sikerül.

Kapcsolati lehűlésHűts le egy kulcsot vagy fiókot, míg a testvérkapcsolatok tovább kiszolgálnak.

ModellzárolásZárolj egy rate-limitelt vagy elérhetetlen modellt, míg a kapcsolat többi modellje elérhető marad.

Hálózati és helyi adatvezérlők

Hálózati útválasztás és helyi adatvezérlők.

A proxy-hatókörök a hálózati útválasztást szabályozzák, a local-first tárolás pedig a gépeden tartja az üzemi adatokat.

Három proxy-hatókör

Irányíts globálisan, szolgáltatónként vagy egyedi kapcsolatonként.

Globális · szolgáltatónként · kapcsolatonként
SOCKS5 és HTTP(S) proxyk
Proxy-piactér integráció

TLS- és kliens-ujjlenyomat vezérlők

Illeszkedj a támogatott szolgáltatói kliensekhez egészen a kiválasztott átviteli jellemzőkig.

JA3/JA4-képes átvitel wreq-js-en keresztül
Szolgáltatóspecifikus kliensprofilok
IPv4 és IPv6 kimeneti vezérlők

Privát és local-first

A kulcsok, a használat és az előzmények az általad felügyelt hoszton maradnak.

SQLite a lemezen, AES-256-GCM titkosított hitelesítő adatokkal
Nem kell OmniRoute-fiók
Saját hosztolás az általad választott infrastruktúrán

OroszországKínaIránKubaTörökország