OmniRouteby Cheaper Inference

OmniRoute / Routing og kontrol

Vælg, hvordan hver request bevæger sig.

Undersøg routingstrategier, regnskab for gratis niveauer, komprimering, fejlisolering og netværkskontrol.

Undersøg routing Prøv Cheaper Inference Tilbage til oversigten

Routingstrategier

Vælg en `auto`-rute, eller byg din egen.

Brug en færdig tilstand, eller kombiner 19 strategier omkring det mål, der betyder noget.

Model · fallback aktiveretautoBalanced default
OpenAI-kompatibel request
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Brug abonnementskvoten op

Brug den kvote, du allerede har, før du rører betalte API'er.

priority · fill-first

Fordel belastningen

Balancer trafik på tværs af nøgler og konti for at mindske presset fra rate limits.

weighted · round-robin · p2c · least-used · headroom

Billigste først

Rout til det billigste berettigede mål.

cost-optimized

Kontekstbevidst

Hold lange kontekster på modeller, der har plads, og skift videre ved behov.

context-relay · context-optimized · cache-optimized

Tilfældig

Fordel berettiget trafik på tværs af mål.

random · strict-random

Adaptiv scoring

Brug scoring med 15 faktorer, sidst kendte gode mål og reset-bevidste vinduer.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Regnskab for gratis niveauer

Cirka 1.51B publicerede tokens hver måned.

455 katalogposter deduplikeres til 40 tilbagevendende pools; kun publicerede positive budgetter tæller med i overskriften.

1.51B

Pool-deduplikeret regnskab forhindrer, at delte kvoter tælles mere end én gang. Udbydere uden loft forbliver synlige uden at puste tokentotalen op. Checked 2026-08-30.

View the calculation (åbner i et nyt faneblad)
Tilbagevendende eller nøglefri udbydere, gratis for altid56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Kontekstkomprimering

Reducer berettigede tokens med 15–95%.

Værktøjsoutput, gentaget kontekst og oppustede strukturerede data kan komprimeres, før de når modellen.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    Fjern indhold, der allerede er sendt tidligere i sessionen.
  2. CCR
    Arkivér store blokke, og gendan dem efter behov.
  3. Lite
    Anvend konservativ tabsfri oprydning.
  4. RTK
    Filtrer og deduplikér kommando- og værktøjsoutput.
  5. Responses Tool Output
    Komprimer Responses API-værktøjspayloads.
  6. Headroom
    Anvend reversibel komprimering af tabeller og strukturerede data.
  7. Relevance
    Behold de sætninger, der er mest relevante for den seneste forespørgsel.
  8. Caveman
    Brug regelbaseret fortætning af prosa.
  9. Aggressive
    Anvend kraftigere konfigureret beskæring.
  10. LLMLingua-2
    Brug kodesikker semantisk beskæring i en isoleret worker.
  11. Ultra
    Kombiner trin med høj besparelse med bevaringsværn.
  12. OmniGlyph
    Indkod berettigede gentagne strukturer kompakt.

Profiles

Publiceret profilinterval~30%x-omniroute-compression: standard

Standard-komprimering valgt. Publiceret interval ~30%.

Controls and output styles

  • Navngivne profiler og aktiv vælger
  • Visual Compression Studio
  • Anthropic Context Editing
  • Adaptiv drejeknap til kontekstbudget
  • Pr. request \
  • -header
  • Offline eval-harness
  • Auto-trigger ved tokengrænse
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Kontrolrækkefølge: request-header → combo → profil → adaptiv politik → standard.

Fejlisolering

Isolér fejl i udbyder, forbindelse og model.

En dårlig nøgle bør ikke slå en udbyder ud. En begrænset model bør ikke slå en forbindelse ud.

model ⊂ forbindelse ⊂ udbyder
Circuit breaker for udbyderNår en udbyder er usund, springer combo-routing den over, indtil en half-open-probe lykkes.
ForbindelsesnedkølingNedkøl én nøgle eller konto, mens søskendeforbindelser fortsætter med at levere.
ModellockoutLås én rate-begrænset eller utilgængelig model, mens andre modeller på forbindelsen forbliver tilgængelige.

Kontrol over netværk og lokale data

Kontrol over netværksrouting og lokale data.

Proxy-scopes styrer netværksrouting, mens lokal lagring holder driftsdata på din maskine.

Tre proxy-scopes

Rout globalt, pr. udbyder eller pr. enkelt forbindelse.

  • Globalt · pr. udbyder · pr. forbindelse
  • SOCKS5- og HTTP(S)-proxyer
  • Integration med proxy-marketplace

Kontrol over TLS- og klientfingeraftryk

Match understøttede udbyderklienter ned til udvalgte transportegenskaber.

  • JA3/JA4-kompatibel transport via wreq-js
  • Udbyderspecifikke klientprofiler
  • Kontrol over IPv4- og IPv6-egress

Privat og lokalt først

Nøgler, forbrug og historik bliver på den host, du kontrollerer.

  • SQLite på disk med AES-256-GCM-krypterede credentials
  • Ingen OmniRoute-konto påkrævet
  • Selvhost på den infrastruktur, du vælger
RuslandKinaIranCubaTyrkiet

OmniRoute fra Cheaper Inference

Vælg, hvordan du kører OmniRoute.

Selvhost OmniRoute, eller brug Cheaper Inference for en hostet, omkostningsrangeret gateway.

Prøv Cheaper Inference Selvhost OmniRoute (åbner i et nyt faneblad) Se på GitHub (åbner i et nyt faneblad)