OmniRoute / Routing och kontroll

Välj hur varje anrop rör sig.

Granska routingstrategier, redovisning av gratisnivåer, komprimering, felisolering och nätverkskontroller.

Granska routingen Prova Cheaper Inference Tillbaka till översikten

Routingstrategier

Välj en `auto`-rutt eller bygg din egen.

Använd ett färdigt läge eller kombinera 19 strategier kring det mål som är viktigt.

Modell · fallback aktiveradautoBalanced default

OpenAI-kompatibelt anrop

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Töm prenumerationskvoten

Använd kvot du redan har innan du rör betalda API:er.

priority · fill-first

Sprid lasten

Balansera trafiken över nycklar och konton för att minska trycket från rate limits.

weighted · round-robin · p2c · least-used · headroom

Billigast först

Routa till det kvalificerade målet med lägst kostnad.

cost-optimized

Kontextmedveten

Håll långa kontexter på modeller som rymmer dem och växla vidare vid behov.

context-relay · context-optimized · cache-optimized

Slumpad

Fördela kvalificerad trafik över målen.

random · strict-random

Adaptiv poängsättning

Använd poängsättning med 15 faktorer, senast kända fungerande och återställningsmedvetna fönster.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Redovisning av gratisnivåer

Ungefär 1.51B publicerade tokens varje månad.

455 katalogposter dedupliceras till 40 återkommande pooler; bara publicerade positiva budgetar räknas in i rubriksiffran.

1.51B

Pooldeduplicerad redovisning hindrar att delade kvoter räknas mer än en gång. Leverantörer utan tak förblir synliga utan att blåsa upp tokentotalen. Checked 2026-08-30.

View the calculation

Återkommande eller nyckelfria leverantörer som är gratis för alltid56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kontextkomprimering

Minska kvalificerade tokens med 15–95%.

Verktygsutdata, upprepad kontext och uppsvälld strukturerad data kan komprimeras innan de når modellen.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Ta bort innehåll som redan skickats tidigare i sessionen.
CCR
Arkivera stora block och återställ dem på begäran.
Lite
Tillämpa försiktig förlustfri rensning.
RTK
Filtrera och deduplicera kommando- och verktygsutdata.
Responses Tool Output
Komprimera verktygspayloads för Responses API.
Headroom
Tillämpa reversibel kompaktering av tabell- och strukturerad data.
Relevance
Behåll de meningar som är mest relevanta för senaste frågan.
Caveman
Använd regelbaserad textkondensering.
Aggressive
Tillämpa kraftigare konfigurerad rensning.
LLMLingua-2
Använd kodsäker semantisk rensning i en isolerad worker.
Ultra
Kombinera steg med hög besparing med bevarandeskydd.
OmniGlyph
Koda kvalificerade upprepade strukturer kompakt.

Profiles

Publicerat profilintervall~30%x-omniroute-compression: standard

Controls and output styles

Namngivna profiler och aktiv väljare
Visuell Compression Studio
Anthropic Context Editing
Adaptivt kontextbudgetreglage
Per anrop \
header
Offline eval-harness
Automatisk utlösning vid tokentröskel
Terse prose
Less code (YAGNI)
Terse CJK 文言

Prioritetsordning: request-header → combo → profil → adaptiv policy → standard.

Felisolering

Isolera fel i leverantör, anslutning och modell.

En dålig nyckel ska inte slå ut en leverantör. En begränsad modell ska inte slå ut en anslutning.

modell ⊂ anslutning ⊂ leverantör

Kretsbrytare per leverantörNär en leverantör är ohälsosam hoppar combo-routingen över den tills en halvöppen sond lyckas.

AnslutningsnedkylningKyl ner en nyckel eller ett konto medan syskonanslutningarna fortsätter att svara.

ModellutlåsningLås en rate-limitad eller otillgänglig modell medan andra modeller på anslutningen förblir tillgängliga.

Nätverk och kontroll över lokal data

Nätverksrouting och kontroll över lokal data.

Proxy-scope styr nätverksroutingen medan lokal lagring håller driftdata på din maskin.

Tre proxy-scope

Routa globalt, per leverantör eller per enskild anslutning.

Globalt · per leverantör · per anslutning
SOCKS5- och HTTP(S)-proxyer
Integration med proxymarknadsplats

Kontroll av TLS- och klientfingeravtryck

Matcha leverantörsklienter som stöds ned till utvalda transportegenskaper.

JA3/JA4-kapabel transport via wreq-js
Leverantörsspecifika klientprofiler
Kontroll över IPv4- och IPv6-utgång

Privat och lokalt först

Nycklar, användning och historik stannar på den värd du kontrollerar.

SQLite på disk med AES-256-GCM-krypterade autentiseringsuppgifter
Inget OmniRoute-konto krävs
Självhosta på infrastruktur du väljer

RysslandKinaIranKubaTurkiet