OmniRouteby Cheaper Inference

OmniRoute / روٹنگ اور کنٹرول

چنیں کہ ہر درخواست کیسے چلے۔

روٹنگ حکمت عملیاں، مفت ٹیئر کا حساب، کمپریشن، فیلیئر آئسولیشن اور نیٹورک کنٹرولز جانچیں۔

روٹنگ جانچیں Cheaper Inference آزمائیں جائزے پر واپس

روٹنگ حکمت عملیاں

`auto` روٹ چنیں یا اپنا بنائیں۔

کوئی تیار موڈ استعمال کریں یا اہم ہدف کے گرد 19 حکمت عملیاں یکجا کریں۔

ماڈل · فال بیک فعالautoBalanced default
OpenAI-compatible درخواست
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

سبسکرپشن کوٹا استعمال کریں

ادا شدہ APIs کو ہاتھ لگانے سے پہلے اپنا موجودہ کوٹا استعمال کریں۔

priority · fill-first

لوڈ تقسیم کریں

ریٹ لمٹ کا دباؤ کم کرنے کے لیے ٹریفک کو کیز اور اکاؤنٹس پر متوازن کریں۔

weighted · round-robin · p2c · least-used · headroom

سب سے سستا پہلے

سب سے کم لاگت والے اہل ٹارگٹ پر روٹ کریں۔

cost-optimized

کانٹیکسٹ سے باخبر

لمبے کانٹیکسٹ کو مناسب ماڈلز پر رکھیں، پھر ضرورت پڑنے پر ریلے کریں۔

context-relay · context-optimized · cache-optimized

بے ترتیب

اہل ٹریفک کو ٹارگٹس پر تقسیم کریں۔

random · strict-random

موافق اسکورنگ

15 عوامل کی اسکورنگ، آخری معلوم درست حالت اور ری سیٹ سے باخبر ونڈوز استعمال کریں۔

reset-window · reset-aware · lkgp · auto · fusion · pipeline

مفت ٹیئر کا حساب

ہر ماہ تقریباً 1.51B شائع شدہ ٹوکنز۔

455 کیٹلاگ اندراجات 40 ریکرنگ پولز میں ڈیڈوپلیکیٹ کیے گئے ہیں؛ صرف شائع شدہ مثبت بجٹ سرخی میں شمار ہوتے ہیں۔

1.51B

پول-ڈیڈوپ شدہ حساب مشترکہ کوٹے کو ایک سے زیادہ بار شمار ہونے سے روکتا ہے۔ بغیر حد والے پرووائیڈرز ٹوکن ٹوٹل کو بڑھائے بغیر نظر آتے رہتے ہیں۔ Checked 2026-08-30.

View the calculation (نئے ٹیب میں کھلتا ہے)
ریکرنگ یا کی-لیس ہمیشہ مفت پرووائیڈرز56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

کانٹیکسٹ کمپریشن

اہل ٹوکنز 15–95% کم کریں۔

ٹول آؤٹ پٹ، دوبارہ آنے والا کانٹیکسٹ اور بھاری اسٹرکچرڈ ڈیٹا ماڈل تک پہنچنے سے پہلے کمپریس کیا جا سکتا ہے۔

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    سیشن میں پہلے بھیجا گیا مواد ہٹا دیں۔
  2. CCR
    بڑے بلاکس آرکائیو کریں اور ضرورت پر بحال کریں۔
  3. Lite
    محتاط لاس لیس صفائی لاگو کریں۔
  4. RTK
    کمانڈ اور ٹول آؤٹ پٹ کو فلٹر اور ڈیڈوپلیکیٹ کریں۔
  5. Responses Tool Output
    Responses API ٹول پے لوڈز کو کمپیکٹ کریں۔
  6. Headroom
    قابلِ واپسی ٹیبولر اور اسٹرکچرڈ ڈیٹا کمپیکشن لاگو کریں۔
  7. Relevance
    تازہ ترین کوئری سے سب سے متعلقہ جملے رکھیں۔
  8. Caveman
    رول بیسڈ نثر کی تلخیص استعمال کریں۔
  9. Aggressive
    زیادہ سخت کنفیگر شدہ پرونِنگ لاگو کریں۔
  10. LLMLingua-2
    الگ ورکر میں کوڈ-سیف سیمانٹک پرونِنگ استعمال کریں۔
  11. Ultra
    زیادہ بچت والے مراحل کو حفاظتی گارڈز کے ساتھ جوڑیں۔
  12. OmniGlyph
    اہل دوبارہ آنے والے اسٹرکچرز کو کمپیکٹ انکوڈ کریں۔

Profiles

شائع شدہ پروفائل رینج~30%x-omniroute-compression: standard

Standard کمپریشن منتخب۔ شائع شدہ رینج ~30%۔

Controls and output styles

  • نامزد پروفائلز اور فعال سلیکٹر
  • ویژول کمپریشن اسٹوڈیو
  • Anthropic Context Editing
  • موافق کانٹیکسٹ بجٹ ڈائل
  • فی درخواست \
  • ہیڈر
  • آف لائن ایویل ہارنس
  • ٹوکن حد پر خودکار ٹرگر
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

کنٹرول کی ترجیح: درخواست ہیڈر → کومبو → پروفائل → موافق پالیسی → ڈیفالٹ۔

فیلیئر آئسولیشن

پرووائیڈر، کنکشن اور ماڈل کی خرابیوں کو الگ رکھیں۔

ایک خراب کلید پرووائیڈر کو نہیں گرانی چاہیے۔ ایک محدود ماڈل کنکشن کو نہیں گرانا چاہیے۔

ماڈل ⊂ کنکشن ⊂ پرووائیڈر
پرووائیڈر سرکٹ بریکرجب کوئی پرووائیڈر خراب ہو، کومبو روٹنگ اسے چھوڑ دیتی ہے جب تک ہاف اوپن پروب کامیاب نہ ہو۔
کنکشن کول ڈاؤنایک کلید یا اکاؤنٹ کو کول ڈاؤن کریں جبکہ باقی کنکشنز سرو کرتے رہیں۔
ماڈل لاک آؤٹایک ریٹ لمٹڈ یا غیر دستیاب ماڈل کو لاک کریں جبکہ کنکشن کے دیگر ماڈلز دستیاب رہیں۔

نیٹورک اور لوکل ڈیٹا کنٹرولز

نیٹورک روٹنگ اور لوکل ڈیٹا کنٹرولز۔

پراکسی اسکوپس نیٹورک روٹنگ کنٹرول کرتے ہیں جبکہ لوکل-فرسٹ اسٹوریج آپریشنل ڈیٹا آپ کی مشین پر رکھتی ہے۔

تین پراکسی اسکوپس

گلوبل، فی پرووائیڈر یا فی انفرادی کنکشن روٹ کریں۔

  • گلوبل · فی پرووائیڈر · فی کنکشن
  • SOCKS5 اور HTTP(S) پراکسیز
  • پراکسی مارکیٹ پلیس انٹیگریشن

TLS اور کلائنٹ فنگرپرنٹ کنٹرولز

معاون پرووائیڈر کلائنٹس سے منتخب ٹرانسپورٹ خصوصیات تک مطابقت رکھیں۔

  • wreq-js کے ذریعے JA3/JA4 کے قابل ٹرانسپورٹ
  • پرووائیڈر کے مطابق کلائنٹ پروفائلز
  • IPv4 اور IPv6 ایگریس کنٹرولز

نجی اور لوکل-فرسٹ

کیز، استعمال اور ہسٹری آپ کے کنٹرول والے ہوسٹ پر رہتے ہیں۔

  • ڈسک پر SQLite، AES-256-GCM انکرپٹڈ کریڈینشلز کے ساتھ
  • OmniRoute اکاؤنٹ کی ضرورت نہیں
  • اپنی پسند کے انفراسٹرکچر پر سیلف ہوسٹ کریں
روسچینایرانکیوباترکیہ

OmniRoute، Cheaper Inference کی پیشکش

OmniRoute چلانے کا طریقہ چنیں۔

OmniRoute سیلف ہوسٹ کریں، یا ہوسٹڈ لاگت-رینکڈ گیٹ وے کے لیے Cheaper Inference استعمال کریں۔

Cheaper Inference آزمائیں OmniRoute سیلف ہوسٹ کریں (نئے ٹیب میں کھلتا ہے) GitHub پر دیکھیں (نئے ٹیب میں کھلتا ہے)