OmniRouteby Cheaper Inference

OmniRoute / Schopnosti produktu

Ovládanie, ktoré si môžete preskúmať a self-hostovať.

Prezrite si ovládanie gatewaya, platformové služby a lokálny dashboard bez toho, aby ste zoznam funkcií brali ako prísľub hostingu.

Prezrieť schopnosti Vyskúšať Cheaper Inference Späť na prehľad

Základné ovládanie

Čo je súčasťou self-hostovaného gatewaya.

Základné ovládanie

Požiadavky nezastavia

Keď je cieľ nedostupný alebo mu došla kvóta, OmniRoute vyberie ďalší zdravý cieľ.

Základné ovládanie

Komprimujte oprávnený kontext

Pipeline s 12 enginmi zmenší oprávnený kontext o 15–95%. Zdokumentovaný príklad s množstvom nástrojov ho zmenšil o ~89%.

Základné ovládanie

Začnite za 0 $

90+ bezplatných úrovní a 56 opakujúcich sa alebo bezkľúčových navždy bezplatných poskytovateľov. Pre bezkľúčový rýchly štart nie je potrebná kreditná karta.

Základné ovládanie

35 podporovaných integrácií

Nakonfigurujte Claude Code, Codex, Cursor, Cline, Copilot, Antigravity a ďalších podporovaných klientov cez jeden endpoint.

Základné ovládanie

Jeden endpoint

Prijíma požiadavky OpenAI, Claude, Gemini a Responses API na /v1.

Základné ovládanie

Prevádzkové ovládanie

Circuit breakery, šifrované prihlasovacie údaje, MCP, A2A, pamäť, guardraily a evaly sú súčasťou self-hostovaného gatewaya.

Schopnosti

Nakonfigurujte cestu požiadavky z jedného dashboardu.

Nakonfigurujte fallback, kvóty, kompresiu, pamäť, MCP a A2A z lokálneho dashboardu.

Ovládanie gatewaya

Smart Combos

Nastavte model na auto alebo si zostavte vlastné combo s 19 stratégiami a viacúrovňovým fallbackom.

Použite pripravený režim alebo skombinujte 19 stratégií okolo cieľa, na ktorom vám záleží.

Ovládanie gatewaya

Pamäť

Trvalá konverzačná pamäť s kľúčovým vyhľadávaním FTS5 a vektorovým vybavovaním cez Qdrant.

Ovládanie gatewaya

Odolnosť v 3 vrstvách

Breaker poskytovateľa, cooldown pripojenia a lockout modelu izolujú zlyhania v najmenšom užitočnom rozsahu.

Ovládanie gatewaya

Bezplatná kvóta

Účtovanie s deduplikáciou poolov naprieč 90+ bezplatnými úrovňami.

Zverejnená kapacita bezplatných úrovní, deduplikovaná.

Ovládanie gatewaya

Kompresia

12 kombinovateľných enginov pre výstup nástrojov, kontext a štýl odpovede.

Znížte oprávnené tokeny o 15–95%.

Ovládanie gatewaya

MCP server

Vstavaný server sprístupňujúci 110 nástrojov gatewaya v 33 rozsahoch.

110 nástrojov · 33 rozsahov · stdio / HTTP

Ovládanie gatewaya

Protokol A2A

Agentový server JSON-RPC s 6 zručnosťami.

6 zručností · JSON-RPC 2.0 · Agent Card

Ovládanie gatewaya

Sémantická cache

Opakovaná požiadavka sa môže vrátiť z cache a hlavička odpovede uvedie, čo to ušetrilo.

X-OmniRoute-Cache: HIT

Platformové služby

Rozšírte lokálny gateway.

Vstavané služby

Spúšťajte Bifrost, 9Router alebo CLIProxy ako spravované sidecary, alebo prevádzkujte plný klastrový profil.

Vaše znalosti v kontexte

Pripojte Notion a Obsidian ako zdroje kontextu postavené na MCP.

Vstavané guardraily

Kontroly prompt injection, voliteľné odstraňovanie PII a normalizované bezpečnostné filtre bez závislosti na poskytovateľovi.

Ciele využitia

Sledujte série, úspechy a živé úspory popri prevádzkovej analytike.

Dashboard

Preskúmajte konfiguráciu a ukážkové prevádzkové pohľady.

Hodnoty nižšie sú ukážkové dáta. Váš lokálny dashboard odráža vašich vlastných poskytovateľov, požiadavky a náklady.

localhost:20128/dashboardUkážkové dáta
352pripojených poskytovateľov
90+dostupných bezplatných úrovní
198zdravých v tomto príklade
  • Claude Code · OAuth · live
  • Cerebras · bezplatné · live
  • Groq · príklad cooldownu
  • NVIDIA NIM · bezplatné · live

OmniRoute od Cheaper Inference

Vyberte si, ako budete OmniRoute prevádzkovať.

Self-hostujte OmniRoute alebo použite Cheaper Inference, hostovaný gateway zoradený podľa ceny.

Vyskúšať Cheaper Inference Self-hostovať OmniRoute (otvorí sa na novej karte) Zobraziť na GitHub (otvorí sa na novej karte)