OmniRoute / రూటింగ్ మరియు కంట్రోల్

ప్రతి రిక్వెస్ట్ ఎలా వెళ్లాలో ఎంచుకోండి.

రూటింగ్ స్ట్రాటజీలు, ఫ్రీ-టైర్ అకౌంటింగ్, కంప్రెషన్, ఫెయిల్యూర్ ఐసొలేషన్ మరియు నెట్‌వర్క్ కంట్రోల్స్ పరిశీలించండి.

రూటింగ్ స్ట్రాటజీలు

`auto` రూట్ ఎంచుకోండి లేదా మీ సొంతది నిర్మించండి.

రెడీమేడ్ మోడ్ వాడండి లేదా మీకు ముఖ్యమైన లక్ష్యం చుట్టూ 19 స్ట్రాటజీలను కలపండి.

మోడల్ · ఫాల్‌బ్యాక్ ఆన్autoBalanced default
OpenAI-అనుకూల రిక్వెస్ట్
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

సబ్‌స్క్రిప్షన్ కోటా వాడుకోండి

పెయిడ్ API లను తాకే ముందు మీకు ఇప్పటికే ఉన్న కోటా వాడండి.

priority · fill-first

లోడ్ పంచండి

రేట్-లిమిట్ ఒత్తిడి తగ్గించడానికి ట్రాఫిక్‌ను కీలు మరియు అకౌంట్ల మధ్య బ్యాలెన్స్ చేయండి.

weighted · round-robin · p2c · least-used · headroom

చౌకైనది ముందు

అతి తక్కువ ఖర్చు అర్హ టార్గెట్‌కు రూట్ చేయండి.

cost-optimized

కాంటెక్స్ట్-అవేర్

పొడవైన కాంటెక్స్ట్‌లను సరిపోయే మోడల్స్‌పై ఉంచి, అవసరమైతే రిలే చేయండి.

context-relay · context-optimized · cache-optimized

రాండమైజ్డ్

అర్హ ట్రాఫిక్‌ను టార్గెట్ల మధ్య పంపిణీ చేయండి.

random · strict-random

అడాప్టివ్ స్కోరింగ్

15-ఫ్యాక్టర్ స్కోరింగ్, లాస్ట్-నోన్-గుడ్ మరియు రీసెట్-అవేర్ విండోలు వాడండి.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

ఫ్రీ-టైర్ అకౌంటింగ్

ప్రతి నెలా సుమారు 1.51B ప్రకటించిన టోకెన్లు.

455 కేటలాగ్ ఎంట్రీలు 40 రికరింగ్ పూల్స్‌గా డీడ్యూప్లికేట్ చేయబడ్డాయి; ప్రకటించిన పాజిటివ్ బడ్జెట్లే హెడ్‌లైన్‌లో లెక్కకు వస్తాయి.

1.51B

పూల్-డీడ్యూప్ అకౌంటింగ్ షేర్డ్ కోటాలను ఒకటికి మించి లెక్కించకుండా చూస్తుంది. నో-క్యాప్ ప్రొవైడర్లు టోకెన్ మొత్తాన్ని పెంచకుండా కనిపిస్తూ ఉంటాయి. Checked 2026-08-30.

View the calculation (కొత్త ట్యాబ్‌లో తెరుచుకుంటుంది)
రికరింగ్ లేదా కీలెస్ ఫ్రీ-ఫరెవర్ ప్రొవైడర్లు56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

కాంటెక్స్ట్ కంప్రెషన్

అర్హ టోకెన్లను 15–95% తగ్గించండి.

టూల్ అవుట్‌పుట్, పునరావృత కాంటెక్స్ట్ మరియు పెరిగిన స్ట్రక్చర్డ్ డేటాను మోడల్‌కు చేరే ముందే కంప్రెస్ చేయవచ్చు.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    సెషన్‌లో ముందే పంపిన కంటెంట్‌ను తీసేయండి.
  2. CCR
    పెద్ద బ్లాక్‌లను ఆర్కైవ్ చేసి అవసరమైనప్పుడు తిరిగి తెచ్చుకోండి.
  3. Lite
    జాగ్రత్తగా లాస్‌లెస్ క్లీనప్ చేయండి.
  4. RTK
    కమాండ్ మరియు టూల్ అవుట్‌పుట్‌ను ఫిల్టర్ చేసి డీడ్యూప్లికేట్ చేయండి.
  5. Responses Tool Output
    Responses API టూల్ పేలోడ్‌లను కాంపాక్ట్ చేయండి.
  6. Headroom
    రివర్సిబుల్ టేబులర్ మరియు స్ట్రక్చర్డ్-డేటా కాంపాక్షన్ చేయండి.
  7. Relevance
    తాజా క్వెరీకి అత్యంత సంబంధిత వాక్యాలను ఉంచండి.
  8. Caveman
    రూల్-బేస్డ్ వచన సంక్షిప్తీకరణ వాడండి.
  9. Aggressive
    బలమైన కాన్ఫిగర్ చేసిన ప్రూనింగ్ చేయండి.
  10. LLMLingua-2
    ఐసొలేటెడ్ వర్కర్‌లో కోడ్-సేఫ్ సెమాంటిక్ ప్రూనింగ్ వాడండి.
  11. Ultra
    అధిక-ఆదా స్టేజ్‌లను ప్రిజర్వేషన్ గార్డ్‌లతో కలపండి.
  12. OmniGlyph
    అర్హ పునరావృత స్ట్రక్చర్లను కాంపాక్ట్‌గా ఎన్‌కోడ్ చేయండి.

Profiles

ప్రకటించిన ప్రొఫైల్ రేంజ్~30%x-omniroute-compression: standard

Standard కంప్రెషన్ ఎంచుకున్నారు. ప్రకటించిన రేంజ్ ~30%.

Controls and output styles

  • నేమ్డ్ ప్రొఫైల్స్ మరియు యాక్టివ్ సెలెక్టర్
  • విజువల్ Compression Studio
  • Anthropic Context Editing
  • అడాప్టివ్ కాంటెక్స్ట్-బడ్జెట్ డయల్
  • రిక్వెస్ట్ వారీ \
  • హెడర్
  • ఆఫ్‌లైన్ ఈవాల్ హార్నెస్
  • టోకెన్-థ్రెషోల్డ్ ఆటో-ట్రిగర్
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

కంట్రోల్ ప్రాధాన్యత: రిక్వెస్ట్ హెడర్ → కాంబో → ప్రొఫైల్ → అడాప్టివ్ పాలసీ → డిఫాల్ట్.

ఫెయిల్యూర్ ఐసొలేషన్

ప్రొవైడర్, కనెక్షన్ మరియు మోడల్ వైఫల్యాలను ఐసొలేట్ చేయండి.

ఒక చెడ్డ కీ ప్రొవైడర్‌ను ఆపకూడదు. లిమిట్ అయిన మోడల్ కనెక్షన్‌ను ఆపకూడదు.

మోడల్ ⊂ కనెక్షన్ ⊂ ప్రొవైడర్
ప్రొవైడర్ సర్క్యూట్ బ్రేకర్ప్రొవైడర్ అనారోగ్యంగా ఉంటే, హాఫ్-ఓపెన్ ప్రోబ్ విజయవంతం అయ్యేదాకా కాంబో రూటింగ్ దాన్ని దాటవేస్తుంది.
కనెక్షన్ కూల్‌డౌన్ఒక కీ లేదా అకౌంట్‌ను కూల్ డౌన్ చేయండి, సిబ్లింగ్ కనెక్షన్లు సర్వ్ చేస్తూనే ఉంటాయి.
మోడల్ లాకౌట్రేట్-లిమిట్ అయిన లేదా అందుబాటులో లేని ఒక మోడల్‌ను లాక్ చేయండి, కనెక్షన్‌లోని ఇతర మోడల్స్ అందుబాటులో ఉంటాయి.

నెట్‌వర్క్ మరియు లోకల్ డేటా కంట్రోల్స్

నెట్‌వర్క్ రూటింగ్ మరియు లోకల్ డేటా కంట్రోల్స్.

ప్రాక్సీ స్కోప్‌లు నెట్‌వర్క్ రూటింగ్‌ను నియంత్రిస్తాయి, లోకల్-ఫర్స్ట్ స్టోరేజ్ ఆపరేషనల్ డేటాను మీ మెషీన్‌లోనే ఉంచుతుంది.

మూడు ప్రాక్సీ స్కోప్‌లు

గ్లోబల్‌గా, ప్రొవైడర్ వారీగా లేదా కనెక్షన్ వారీగా రూట్ చేయండి.

  • గ్లోబల్ · ప్రొవైడర్ వారీ · కనెక్షన్ వారీ
  • SOCKS5 మరియు HTTP(S) ప్రాక్సీలు
  • ప్రాక్సీ మార్కెట్‌ప్లేస్ ఇంటిగ్రేషన్

TLS మరియు క్లయింట్ ఫింగర్‌ప్రింట్ కంట్రోల్స్

సపోర్టెడ్ ప్రొవైడర్ క్లయింట్లను ఎంచుకున్న ట్రాన్స్‌పోర్ట్ లక్షణాల వరకు మ్యాచ్ చేయండి.

  • wreq-js ద్వారా JA3/JA4-సామర్థ్య ట్రాన్స్‌పోర్ట్
  • ప్రొవైడర్-నిర్దిష్ట క్లయింట్ ప్రొఫైల్స్
  • IPv4 మరియు IPv6 ఈగ్రెస్ కంట్రోల్స్

ప్రైవేట్ మరియు లోకల్-ఫర్స్ట్

కీలు, వినియోగం మరియు హిస్టరీ మీ నియంత్రణలోని హోస్ట్‌లోనే ఉంటాయి.

  • AES-256-GCM ఎన్‌క్రిప్టెడ్ క్రెడెన్షియల్స్‌తో డిస్క్‌పై SQLite
  • OmniRoute అకౌంట్ అవసరం లేదు
  • మీరు ఎంచుకున్న ఇన్‌ఫ్రాస్ట్రక్చర్‌లో సెల్ఫ్-హోస్ట్ చేయండి
రష్యాచైనాఇరాన్క్యూబాతుర్కియే

Cheaper Inference నుండి OmniRoute

OmniRoute ఎలా రన్ చేయాలో ఎంచుకోండి.

OmniRoute సెల్ఫ్-హోస్ట్ చేయండి, లేదా హోస్టెడ్ కాస్ట్-ర్యాంక్డ్ గేట్‌వే కోసం Cheaper Inference వాడండి.