OmniRouteby Cheaper Inference

OmniRoute / Routering en controle

Kies hoe elk verzoek zich verplaatst.

Bekijk routeringsstrategieën, free-tier boekhouding, compressie, storingsisolatie en netwerkcontroles.

Bekijk routering Probeer Cheaper Inference Terug naar overzicht

Routeringsstrategieën

Kies een `auto`-route of bouw je eigen.

Gebruik een kant-en-klare modus of combineer 19 strategieën rond het doel dat telt.

Model · fallback ingeschakeldautoBalanced default
OpenAI-compatibel verzoek
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Abonnementsquota opmaken

Gebruik quota die je al hebt voordat je betaalde API's aanraakt.

priority · fill-first

Belasting spreiden

Verdeel verkeer over sleutels en accounts om druk van rate limits te verminderen.

weighted · round-robin · p2c · least-used · headroom

Goedkoopste eerst

Routeer naar het goedkoopste geschikte target.

cost-optimized

Contextbewust

Houd lange contexten op modellen die ze aankunnen en schakel door als het nodig is.

context-relay · context-optimized · cache-optimized

Willekeurig

Verdeel geschikt verkeer over targets.

random · strict-random

Adaptieve scoring

Gebruik scoring op 15 factoren, last-known-good en reset-bewuste vensters.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Free-tier boekhouding

Ongeveer 1.51B gepubliceerde tokens per maand.

455 catalogusvermeldingen worden gededupliceerd tot 40 terugkerende pools; alleen gepubliceerde positieve budgetten tellen mee in het hoofdcijfer.

1.51B

Pool-gededupliceerde boekhouding voorkomt dat gedeelde quota meer dan één keer worden geteld. Providers zonder limiet blijven zichtbaar zonder het tokentotaal op te blazen. Checked 2026-08-30.

View the calculation (opent in een nieuw tabblad)
Terugkerende of sleutelloze free-forever providers56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Contextcompressie

Verminder geschikte tokens met 15–95%.

Tool-output, herhaalde context en opgeblazen gestructureerde data kunnen worden gecomprimeerd voordat ze het model bereiken.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    Laat inhoud weg die eerder in de sessie al is verzonden.
  2. CCR
    Archiveer grote blokken en herstel ze op aanvraag.
  3. Lite
    Pas conservatieve, verliesvrije opschoning toe.
  4. RTK
    Filter en dedupliceer commando- en tool-output.
  5. Responses Tool Output
    Verdicht Responses API-tool-payloads.
  6. Headroom
    Pas omkeerbare verdichting van tabellen en gestructureerde data toe.
  7. Relevance
    Behoud de zinnen die het meest relevant zijn voor de laatste query.
  8. Caveman
    Gebruik regelgebaseerde tekstverdichting.
  9. Aggressive
    Pas sterkere geconfigureerde pruning toe.
  10. LLMLingua-2
    Gebruik code-veilige semantische pruning in een geïsoleerde worker.
  11. Ultra
    Combineer stappen met hoge besparing met behoudsgaranties.
  12. OmniGlyph
    Codeer geschikte herhaalde structuren compact.

Profiles

Gepubliceerd profielbereik~30%x-omniroute-compression: standard

Compressie Standard geselecteerd. Gepubliceerd bereik ~30%.

Controls and output styles

  • Benoemde profielen en actieve selector
  • Visuele Compression Studio
  • Anthropic Context Editing
  • Adaptieve contextbudget-regelaar
  • Per verzoek \
  • -header
  • Offline eval-harnas
  • Auto-trigger op tokendrempel
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Voorrang van instellingen: request-header → combo → profiel → adaptief beleid → standaard.

Storingsisolatie

Isoleer storingen van provider, verbinding en model.

Een slechte sleutel mag geen provider platleggen. Een gelimiteerd model mag geen verbinding platleggen.

model ⊂ verbinding ⊂ provider
Provider circuit breakerAls een provider ongezond is, slaat combo-routering hem over tot een half-open probe slaagt.
Connection cooldownLaat één sleutel of account afkoelen terwijl de andere verbindingen blijven bedienen.
Model-lockoutVergrendel één rate-limited of onbeschikbaar model terwijl andere modellen op de verbinding beschikbaar blijven.

Netwerk- en lokale datacontroles

Netwerkroutering en lokale datacontroles.

Proxy-scopes sturen de netwerkroutering, terwijl local-first opslag operationele data op je eigen machine houdt.

Drie proxy-scopes

Routeer globaal, per provider of per afzonderlijke verbinding.

  • Globaal · per provider · per verbinding
  • SOCKS5- en HTTP(S)-proxy's
  • Integratie met proxy-marktplaats

TLS- en client-fingerprintcontroles

Kom overeen met ondersteunde providerclients tot op geselecteerde transportkenmerken.

  • JA3/JA4-geschikt transport via wreq-js
  • Providerspecifieke clientprofielen
  • IPv4- en IPv6-egresscontroles

Privé en local-first

Sleutels, gebruik en geschiedenis blijven op de host die jij beheert.

  • SQLite op schijf met AES-256-GCM-versleutelde credentials
  • Geen OmniRoute-account vereist
  • Zelf hosten op infrastructuur die jij kiest
RuslandChinaIranCubaTurkije

OmniRoute by Cheaper Inference

Kies hoe je OmniRoute draait.

Host OmniRoute zelf, of gebruik Cheaper Inference voor een gehoste, op kosten gerangschikte gateway.

Probeer Cheaper Inference OmniRoute zelf hosten (opent in een nieuw tabblad) Bekijk op GitHub (opent in een nieuw tabblad)