OmniRouteby Cheaper Inference

OmniRoute / Termékképességek

Vezérlők, amelyeket megvizsgálhatsz és magad hosztolhatsz.

Tekintsd át az átjáróvezérlőket, a platformszolgáltatásokat és a helyi irányítópultot anélkül, hogy egy funkciólistát hosztolási ígéretnek vennél.

Képességek áttekintése Próbáld ki a Cheaper Inference-t Vissza az áttekintéshez

Alapvető vezérlők

Ami a saját hosztolású átjáróval jár.

Alapvető vezérlő

Tartsd mozgásban a kéréseket

Ha egy cél nem elérhető vagy kifogyott a kvótája, az OmniRoute a következő egészséges célt választja.

Alapvető vezérlő

Tömörítsd a jogosult kontextust

Egy 12 motoros folyamat 15–95%-kal csökkenti a jogosult kontextust. A dokumentált, eszközintenzív példában ~89% volt a csökkenés.

Alapvető vezérlő

Indulás 0 dollárral

90+ ingyenes szint és 56 ismétlődő vagy kulcs nélküli, örökre ingyenes szolgáltató. A kulcs nélküli gyors kezdéshez nem kell bankkártya.

Alapvető vezérlő

35 támogatott integráció

Állítsd be a Claude Code, Codex, Cursor, Cline, Copilot, Antigravity és más támogatott klienseket egy végponton keresztül.

Alapvető vezérlő

Egy végpont

OpenAI, Claude, Gemini és Responses API kéréseket fogad a /v1 alatt.

Alapvető vezérlő

Üzemeltetési vezérlők

Circuit breakerek, titkosított hitelesítő adatok, MCP, A2A, memória, guardrailek és evalok járnak a saját hosztolású átjáróval.

Képességek

Állítsd be a kérés útját egy irányítópultról.

Állítsd be a fallbacket, a kvótát, a tömörítést, a memóriát, az MCP-t és az A2A-t a helyi irányítópultról.

Átjáróvezérlő

Smart Combos

Állíts egy modellt auto-ra, vagy építsd meg a saját kombódat 19 stratégiával és többszintű fallbackkel.

Használj kész módot, vagy kombináld a 19 stratégiát a számodra fontos cél körül.

Átjáróvezérlő

Memória

Tartós beszélgetési memória FTS5 kulcsszavas és Qdrant vektoros visszakereséssel.

Átjáróvezérlő

3 rétegű hibatűrés

A szolgáltatói circuit breaker, a kapcsolati lehűlés és a modellzárolás a legkisebb hasznos hatókörben izolálja a hibákat.

Átjáróvezérlő

Ingyenes kvóta

Poolonként deduplikált elszámolás 90+ ingyenes szinten.

Közzétett ingyenes kapacitás, deduplikálva.

Átjáróvezérlő

Tömörítés

12 kombinálható motor eszközkimenetre, kontextusra és válaszstílusra.

Csökkentsd a jogosult tokeneket 15–95%-kal.

Átjáróvezérlő

MCP-szerver

Beépített szerver, amely 110 átjáróeszközt tesz elérhetővé 33 hatókörben.

110 eszköz · 33 hatókör · stdio / HTTP

Átjáróvezérlő

A2A protokoll

JSON-RPC ágensszerver 6 készséggel.

6 készség · JSON-RPC 2.0 · Agent Card

Átjáróvezérlő

Szemantikus cache

Egy ismételt kérés a cache-ből is visszatérhet, és a válaszfejléc jelzi, mennyit spórolt.

X-OmniRoute-Cache: HIT

Platformszolgáltatások

Bővítsd a helyi átjárót.

Beágyazott szolgáltatások

Futtasd a Bifrostot, a 9Routert vagy a CLIProxyt felügyelt sidecarként, vagy üzemeltess teljes klaszterprofilt.

A tudásod, kontextusban

Kapcsold be a Notiont és az Obsidiant MCP-alapú kontextusforrásként.

Beépített guardrailek

Prompt-injection ellenőrzés, opcionális PII-kitakarás és egységesített biztonsági szűrők, szolgáltatói bezártság nélkül.

Használati célok

Kövesd a sorozatokat, eredményeket és élő megtakarításokat az üzemi analitika mellett.

Irányítópult

Nézd meg a konfigurációt és a példa üzemi nézeteket.

Az alábbi értékek példaadatok. A helyi irányítópultod a saját szolgáltatóidat, kéréseidet és költségeidet mutatja.

localhost:20128/dashboardPéldaadatok
352csatlakoztatott szolgáltató
90+elérhető ingyenes szint
198egészséges ebben a példában
  • Claude Code · OAuth · élő
  • Cerebras · ingyenes · élő
  • Groq · lehűlési példa
  • NVIDIA NIM · ingyenes · élő

OmniRoute a Cheaper Inference-től

Válaszd ki, hogyan futtatod az OmniRoute-ot.

Hosztold magad az OmniRoute-ot, vagy használd a Cheaper Inference-t hosztolt, költség szerint rangsorolt átjáróként.

Próbáld ki a Cheaper Inference-t Hosztold magad az OmniRoute-ot (új lapon nyílik meg) Megtekintés a GitHubon (új lapon nyílik meg)