OmniRoute / Směrování a řízení

Rozhodněte, jak se každý požadavek pohybuje.

Prohlédněte si strategie směrování, účtování free tierů, kompresi, izolaci selhání a síťové mechanismy.

Prozkoumat směrování Vyzkoušet Cheaper Inference Zpět na přehled

Strategie směrování

Vyberte trasu `auto` nebo si sestavte vlastní.

Použijte hotový režim nebo zkombinujte 19 strategií podle cíle, na kterém vám záleží.

Model · fallback zapnutýautoBalanced default

Požadavek kompatibilní s OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Vyčerpat kvótu předplatného

Využijte kvótu, kterou už máte, než sáhnete na placená API.

priority · fill-first

Rozložit zátěž

Rozdělte provoz mezi klíče a účty a snižte tlak rate limitů.

weighted · round-robin · p2c · least-used · headroom

Nejlevnější první

Směrujte na nejlevnější vyhovující cíl.

cost-optimized

Podle kontextu

Dlouhé kontexty nechte na modelech, kam se vejdou, a v případě potřeby je předejte dál.

context-relay · context-optimized · cache-optimized

Náhodné

Rozdělte vyhovující provoz mezi cíle.

random · strict-random

Adaptivní skórování

Použijte 15-faktorové skórování, last-known-good a okna respektující reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Účtování free tierů

Přibližně 1.51B publikovaných tokenů každý měsíc.

455 položek katalogu je deduplikováno do 40 opakujících se poolů; do hlavního čísla vstupují jen publikované kladné rozpočty.

1.51B

Účtování deduplikované podle poolů brání tomu, aby se sdílené kvóty počítaly vícekrát. Poskytovatelé bez limitu zůstávají viditelní, ale součet tokenů nenavyšují. Checked 2026-08-30.

View the calculation

Opakovaně bezplatní nebo bezklíčoví poskytovatelé zdarma navždy56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Komprese kontextu

Snižte počet vhodných tokenů o 15–95%.

Výstup nástrojů, opakovaný kontext a nafouklá strukturovaná data lze zkomprimovat dřív, než dorazí k modelu.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Vypustí obsah, který už byl v relaci odeslán dříve.
CCR
Archivuje velké bloky a na vyžádání je obnoví.
Lite
Provede konzervativní bezeztrátové čištění.
RTK
Filtruje a deduplikuje výstup příkazů a nástrojů.
Responses Tool Output
Zhušťuje payloady nástrojů Responses API.
Headroom
Provede vratné zhuštění tabulkových a strukturovaných dat.
Relevance
Ponechá věty nejrelevantnější k poslednímu dotazu.
Caveman
Používá pravidlové zhušťování prózy.
Aggressive
Provede silnější nakonfigurované prořezávání.
LLMLingua-2
Používá sémantické prořezávání šetrné ke kódu v izolovaném workeru.
Ultra
Kombinuje fáze s vysokou úsporou s ochrannými pojistkami.
OmniGlyph
Kompaktně kóduje vhodné opakující se struktury.

Profiles

Publikovaný rozsah profilu~30%x-omniroute-compression: standard

Controls and output styles

Pojmenované profily a aktivní selektor
Vizuální Compression Studio
Anthropic Context Editing
Adaptivní regulace rozpočtu kontextu
Hlavička \
per požadavek
Offline eval harness
Auto-spuštění při prahu tokenů
Terse prose
Less code (YAGNI)
Terse CJK 文言

Priorita řízení: hlavička požadavku → combo → profil → adaptivní politika → výchozí.

Izolace selhání

Izolujte selhání poskytovatele, připojení i modelu.

Špatný klíč by neměl shodit poskytovatele. Omezený model by neměl shodit připojení.

model ⊂ připojení ⊂ poskytovatel

Circuit breaker poskytovateleKdyž je poskytovatel nezdravý, combo směrování ho přeskakuje, dokud neuspěje half-open sonda.

Cooldown připojeníZchlaďte jeden klíč nebo účet, zatímco sousední připojení dál obsluhují.

Lockout modeluZamkněte jeden model omezený rate limitem nebo nedostupný, zatímco ostatní modely na připojení zůstávají k dispozici.

Síť a kontrola lokálních dat

Síťové směrování a kontrola lokálních dat.

Rozsahy proxy řídí síťové směrování, zatímco local-first úložiště drží provozní data na vašem stroji.

Tři rozsahy proxy

Směrujte globálně, per poskytovatel nebo per jednotlivé připojení.

Globální · per poskytovatel · per připojení
SOCKS5 a HTTP(S) proxy
Integrace proxy marketplace

Řízení TLS a fingerprintu klienta

Napodobte podporované klienty poskytovatelů až po vybrané vlastnosti transportu.

Transport s podporou JA3/JA4 přes wreq-js
Profily klientů pro konkrétní poskytovatele
Řízení odchozího provozu IPv4 a IPv6

Soukromé a local-first

Klíče, využití i historie zůstávají na hostiteli, který ovládáte.

SQLite na disku s přihlašovacími údaji šifrovanými AES-256-GCM
Bez nutnosti účtu OmniRoute
Self-hosting na infrastruktuře podle vašeho výběru

RuskoČínaÍránKubaTurecko