OmniRoute / Routing na udhibiti

Chagua jinsi kila ombi linavyosonga.

Kagua mikakati ya routing, uhesabuji wa viwango vya bure, ubanaji, kutenga hitilafu na vidhibiti vya mtandao.

Kagua routing Jaribu Cheaper Inference Rudi kwenye muhtasari

Mikakati ya routing

Chagua njia ya `auto` au unda yako.

Tumia hali iliyo tayari au unganisha mikakati 19 kuzunguka lengo muhimu.

Modeli · fallback imewashwaautoBalanced default

Ombi linalooana na OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Tumia kiwango cha usajili

Tumia kiwango ulicho nacho tayari kabla ya kugusa API za kulipia.

priority · fill-first

Sambaza mzigo

Sawazisha trafiki kwenye keys na akaunti kupunguza shinikizo la rate-limit.

weighted · round-robin · p2c · least-used · headroom

Nafuu zaidi kwanza

Elekeza kwenye lengo stahiki la gharama ya chini zaidi.

cost-optimized

Inayozingatia muktadha

Weka miktadha mirefu kwenye modeli zinazotosha, kisha pitisha inapohitajika.

context-relay · context-optimized · cache-optimized

Nasibu

Sambaza trafiki stahiki kwenye malengo.

random · strict-random

Alama zinazobadilika

Tumia alama za vipengele 15, last-known-good na madirisha yanayozingatia reset.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Uhesabuji wa viwango vya bure

Takriban tokeni 1.51B zilizochapishwa kila mwezi.

Maingizo 455 ya katalogi hupunguzwa marudio hadi pools 40 zinazojirudia; bajeti chanya zilizochapishwa pekee huchangia kichwa cha habari.

1.51B

Uhesabuji usiorudufu pools huzuia viwango vinavyoshirikiwa kuhesabiwa zaidi ya mara moja. Watoa huduma wasio na kikomo hubaki wakionekana bila kuongeza jumla ya tokeni. Checked 2026-08-30.

View the calculation

Watoa huduma wa bure daima, wanaojirudia au wasiohitaji key56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Ubanaji wa muktadha

Punguza tokeni stahiki kwa 15–95%.

Matokeo ya zana, muktadha unaorudiwa na data iliyopangwa iliyovimba yanaweza kubanwa kabla ya kufika kwenye modeli.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Ondoa maudhui yaliyotumwa tayari mapema katika kipindi.
CCR
Hifadhi vipande vikubwa na uvirejeshe vinapohitajika.
Lite
Tumia usafishaji wa tahadhari usiopoteza data.
RTK
Chuja na uondoe marudio ya matokeo ya amri na zana.
Responses Tool Output
Bana payloads za zana za Responses API.
Headroom
Tumia ubanaji unaoweza kurejeshwa wa data ya jedwali na iliyopangwa.
Relevance
Weka sentensi zinazohusiana zaidi na hoja ya hivi karibuni.
Caveman
Tumia ufupishaji wa maandishi unaotegemea kanuni.
Aggressive
Tumia upogoaji mkali zaidi uliosanidiwa.
LLMLingua-2
Tumia upogoaji wa kisemantiki salama kwa code katika worker iliyotengwa.
Ultra
Unganisha hatua za akiba kubwa na ulinzi wa uhifadhi.
OmniGlyph
Simba miundo stahiki inayorudiwa kwa ufupi.

Profiles

Kiwango cha profaili kilichochapishwa~30%x-omniroute-compression: standard

Controls and output styles

Profaili zenye majina na kichaguzi kinachotumika
Visual Compression Studio
Anthropic Context Editing
Kidhibiti cha bajeti ya muktadha kinachobadilika
Kwa kila ombi \
header
Harness ya eval ya nje ya mtandao
Kichocheo otomatiki cha kizingiti cha tokeni
Terse prose
Less code (YAGNI)
Terse CJK 文言

Kipaumbele cha udhibiti: header ya ombi → combo → profaili → sera inayobadilika → chaguo-msingi.

Kutenga hitilafu

Tenga hitilafu za mtoa huduma, muunganisho na modeli.

Key mbaya haipaswi kuua mtoa huduma. Modeli iliyowekewa kikomo haipaswi kuua muunganisho.

modeli ⊂ muunganisho ⊂ mtoa huduma

Circuit breaker ya mtoa hudumaMtoa huduma anapokuwa hana afya, routing ya combo humruka hadi jaribio la half-open lifanikiwe.

Cooldown ya muunganishoPumzisha key au akaunti moja huku miunganisho mingine ikiendelea kuhudumia.

Lockout ya modeliFunga modeli moja iliyowekewa rate-limit au isiyopatikana huku modeli nyingine kwenye muunganisho zikibaki zinapatikana.

Vidhibiti vya mtandao na data ya ndani

Routing ya mtandao na vidhibiti vya data ya ndani.

Upeo wa proxy hudhibiti routing ya mtandao huku hifadhi ya ndani kwanza ikiweka data ya uendeshaji kwenye mashine yako.

Upeo tatu wa proxy

Elekeza kwa ujumla, kwa kila mtoa huduma au kwa kila muunganisho mmoja mmoja.

Kwa ujumla · kwa mtoa huduma · kwa muunganisho
Proxy za SOCKS5 na HTTP(S)
Muunganisho wa soko la proxy

Vidhibiti vya alama za TLS na mteja

Linganisha wateja wa watoa huduma wanaotumika hadi sifa teule za usafirishaji.

Usafirishaji unaowezesha JA3/JA4 kupitia wreq-js
Profaili za mteja mahususi kwa mtoa huduma
Vidhibiti vya utokaji vya IPv4 na IPv6

Faragha na ndani kwanza

Keys, matumizi na historia hubaki kwenye host unayodhibiti.

SQLite kwenye diski na vitambulisho vilivyosimbwa kwa AES-256-GCM
Hakuna akaunti ya OmniRoute inayohitajika
Jihudumie kwenye miundombinu unayochagua

UrusiUchinaIranKubaUturuki