OmniRouteby Cheaper Inference

OmniRoute / रूटिंग और कंट्रोल

चुनें कि हर रिक्वेस्ट कैसे चले।

रूटिंग स्ट्रैटेजी, फ़्री-टियर अकाउंटिंग, कम्प्रेशन, फ़ेल्योर आइसोलेशन और नेटवर्क कंट्रोल देखें।

रूटिंग देखें Cheaper Inference आज़माएँ ओवरव्यू पर वापस

रूटिंग स्ट्रैटेजी

`auto` रूट चुनें या अपना बनाएँ।

कोई रेडीमेड मोड इस्तेमाल करें या अपने ज़रूरी लक्ष्य के आसपास 19 स्ट्रैटेजी जोड़ें।

मॉडल · फ़ॉलबैक चालूautoBalanced default
OpenAI-कम्पैटिबल रिक्वेस्ट
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

सब्सक्रिप्शन कोटा खत्म करें

पेड API छूने से पहले अपना मौजूदा कोटा इस्तेमाल करें।

priority · fill-first

लोड बाँटें

रेट-लिमिट का दबाव कम करने के लिए ट्रैफ़िक कीज़ और अकाउंट्स में बैलेंस करें।

weighted · round-robin · p2c · least-used · headroom

सबसे सस्ता पहले

सबसे कम कॉस्ट वाले योग्य टारगेट पर रूट करें।

cost-optimized

कॉन्टेक्स्ट-अवेयर

लंबे कॉन्टेक्स्ट उन मॉडल पर रखें जो फ़िट हों, फिर ज़रूरत पर रिले करें।

context-relay · context-optimized · cache-optimized

रैंडमाइज़्ड

योग्य ट्रैफ़िक को टारगेट्स में बाँटें।

random · strict-random

अडैप्टिव स्कोरिंग

15-फ़ैक्टर स्कोरिंग, लास्ट-नोन-गुड और रीसेट-अवेयर विंडो इस्तेमाल करें।

reset-window · reset-aware · lkgp · auto · fusion · pipeline

फ़्री-टियर अकाउंटिंग

हर महीने लगभग 1.51B प्रकाशित टोकन।

455 कैटलॉग एंट्री 40 रिकरिंग पूल में डीड्यूप्लिकेट होती हैं; सिर्फ़ प्रकाशित पॉज़िटिव बजट ही हेडलाइन में गिने जाते हैं।

1.51B

पूल-डीड्यूप्ड अकाउंटिंग शेयर्ड कोटा को एक से ज़्यादा बार गिनने से रोकती है। नो-कैप प्रोवाइडर टोकन टोटल बढ़ाए बिना दिखते रहते हैं। Checked 2026-08-30.

View the calculation (नए टैब में खुलता है)
रिकरिंग या की-लेस फ़्री-फ़ॉरएवर प्रोवाइडर56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

कॉन्टेक्स्ट कम्प्रेशन

योग्य टोकन 15–95% तक कम करें।

टूल आउटपुट, दोहराया कॉन्टेक्स्ट और भारी स्ट्रक्चर्ड डेटा मॉडल तक पहुँचने से पहले कम्प्रेस हो सकते हैं।

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    सेशन में पहले भेजा गया कंटेंट हटाएँ।
  2. CCR
    बड़े ब्लॉक आर्काइव करें और ज़रूरत पर रीस्टोर करें।
  3. Lite
    कंज़र्वेटिव लॉसलेस क्लीनअप लगाएँ।
  4. RTK
    कमांड और टूल आउटपुट फ़िल्टर और डीड्यूप्लिकेट करें।
  5. Responses Tool Output
    Responses API टूल पेलोड कम्पैक्ट करें।
  6. Headroom
    रिवर्सिबल टेबुलर और स्ट्रक्चर्ड-डेटा कम्पैक्शन लगाएँ।
  7. Relevance
    नई क्वेरी से सबसे संबंधित वाक्य रखें।
  8. Caveman
    रूल-बेस्ड प्रोज़ कंडेंसेशन इस्तेमाल करें।
  9. Aggressive
    ज़्यादा सख़्त कॉन्फ़िगर्ड प्रूनिंग लगाएँ।
  10. LLMLingua-2
    आइसोलेटेड वर्कर में कोड-सेफ़ सिमैंटिक प्रूनिंग इस्तेमाल करें।
  11. Ultra
    हाई-सेविंग स्टेज को प्रिज़र्वेशन गार्ड के साथ जोड़ें।
  12. OmniGlyph
    योग्य दोहराए गए स्ट्रक्चर कम्पैक्ट रूप में एन्कोड करें।

Profiles

प्रकाशित प्रोफ़ाइल रेंज~30%x-omniroute-compression: standard

Standard कम्प्रेशन चुना गया। प्रकाशित रेंज ~30%।

Controls and output styles

  • नेम्ड प्रोफ़ाइल और एक्टिव सेलेक्टर
  • विज़ुअल Compression Studio
  • Anthropic Context Editing
  • अडैप्टिव कॉन्टेक्स्ट-बजट डायल
  • प्रति-रिक्वेस्ट \
  • हेडर
  • ऑफ़लाइन इवैल हार्नेस
  • टोकन-थ्रेशोल्ड ऑटो-ट्रिगर
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

कंट्रोल प्रायोरिटी: रिक्वेस्ट हेडर → कॉम्बो → प्रोफ़ाइल → अडैप्टिव पॉलिसी → डिफ़ॉल्ट।

फ़ेल्योर आइसोलेशन

प्रोवाइडर, कनेक्शन और मॉडल फ़ेल्योर को अलग रखें।

एक ख़राब की पूरे प्रोवाइडर को नहीं गिराना चाहिए। एक लिमिटेड मॉडल पूरे कनेक्शन को नहीं गिराना चाहिए।

मॉडल ⊂ कनेक्शन ⊂ प्रोवाइडर
प्रोवाइडर सर्किट ब्रेकरजब कोई प्रोवाइडर अनहेल्दी हो, कॉम्बो रूटिंग उसे तब तक छोड़ देती है जब तक हाफ़-ओपन प्रोब सफल न हो।
कनेक्शन कूलडाउनएक की या अकाउंट को कूल डाउन करें जबकि बाकी कनेक्शन सर्व करते रहें।
मॉडल लॉकआउटएक रेट-लिमिटेड या अनुपलब्ध मॉडल को लॉक करें जबकि कनेक्शन के बाकी मॉडल उपलब्ध रहें।

नेटवर्क और लोकल डेटा कंट्रोल

नेटवर्क रूटिंग और लोकल डेटा कंट्रोल।

प्रॉक्सी स्कोप नेटवर्क रूटिंग कंट्रोल करते हैं जबकि लोकल-फ़र्स्ट स्टोरेज ऑपरेशनल डेटा आपकी मशीन पर रखता है।

तीन प्रॉक्सी स्कोप

ग्लोबली, प्रति प्रोवाइडर या प्रति कनेक्शन रूट करें।

  • ग्लोबल · प्रति-प्रोवाइडर · प्रति-कनेक्शन
  • SOCKS5 और HTTP(S) प्रॉक्सी
  • प्रॉक्सी मार्केटप्लेस इंटीग्रेशन

TLS और क्लाइंट फ़िंगरप्रिंट कंट्रोल

सपोर्टेड प्रोवाइडर क्लाइंट्स से चुनी गई ट्रांसपोर्ट विशेषताओं तक मैच करें।

  • wreq-js के ज़रिए JA3/JA4-सक्षम ट्रांसपोर्ट
  • प्रोवाइडर-विशिष्ट क्लाइंट प्रोफ़ाइल
  • IPv4 और IPv6 इग्रेस कंट्रोल

प्राइवेट और लोकल-फ़र्स्ट

कीज़, यूसेज और हिस्ट्री आपके कंट्रोल वाले होस्ट पर रहती हैं।

  • डिस्क पर SQLite, AES-256-GCM एन्क्रिप्टेड क्रेडेंशियल के साथ
  • OmniRoute अकाउंट की ज़रूरत नहीं
  • अपनी चुनी इन्फ़्रास्ट्रक्चर पर सेल्फ़-होस्ट करें
रूसचीनईरानक्यूबातुर्किये

OmniRoute by Cheaper Inference

चुनें कि आप OmniRoute कैसे चलाएँगे।

OmniRoute सेल्फ़-होस्ट करें, या होस्टेड कॉस्ट-रैंक्ड गेटवे के लिए Cheaper Inference इस्तेमाल करें।

Cheaper Inference आज़माएँ OmniRoute सेल्फ़-होस्ट करें (नए टैब में खुलता है) GitHub पर देखें (नए टैब में खुलता है)