OmniRoute / Routing und Steuerung

Bestimme, wie jede Anfrage läuft.

Prüfe Routing-Strategien, Free-Tier-Accounting, Kompression, Fehlerisolation und Netzwerkkontrollen.

Routing prüfen Cheaper Inference testen Zurück zur Übersicht

Routing-Strategien

Wähle eine `auto`-Route oder baue deine eigene.

Nutze einen fertigen Modus oder kombiniere 19 Strategien rund um das Ziel, das zählt.

Modell · Fallback aktiviertautoBalanced default

OpenAI-kompatible Anfrage

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Abo-Kontingent aufbrauchen

Nutze vorhandenes Kontingent, bevor bezahlte APIs angefasst werden.

priority · fill-first

Last verteilen

Verteile Traffic auf Schlüssel und Konten, um Rate-Limit-Druck zu senken.

weighted · round-robin · p2c · least-used · headroom

Günstigstes zuerst

Route zum günstigsten berechtigten Ziel.

cost-optimized

Kontextbewusst

Lange Kontexte auf passenden Modellen halten, bei Bedarf weiterreichen.

context-relay · context-optimized · cache-optimized

Zufällig

Berechtigten Traffic auf Ziele verteilen.

random · strict-random

Adaptives Scoring

Scoring mit 15 Faktoren, Last-Known-Good und Reset-bewusste Zeitfenster.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Free-Tier-Accounting

Rund 1.51B veröffentlichte Tokens pro Monat.

455 Katalogeinträge werden zu 40 wiederkehrenden Pools dedupliziert; nur veröffentlichte positive Budgets fließen in die Kennzahl ein.

1.51B

Pool-dedupliziertes Accounting verhindert, dass geteilte Kontingente mehrfach gezählt werden. Anbieter ohne Obergrenze bleiben sichtbar, ohne die Token-Summe aufzublähen. Checked 2026-08-30.

View the calculation

Wiederkehrende oder schlüssellose Free-Forever-Anbieter56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Kontextkompression

Berechtigte Tokens um 15–95% reduzieren.

Tool-Ausgaben, wiederholter Kontext und aufgeblähte strukturierte Daten lassen sich komprimieren, bevor sie das Modell erreichen.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Inhalte verwerfen, die in der Session bereits gesendet wurden.
CCR
Große Blöcke archivieren und bei Bedarf wiederherstellen.
Lite
Konservative verlustfreie Bereinigung anwenden.
RTK
Befehls- und Tool-Ausgaben filtern und deduplizieren.
Responses Tool Output
Responses-API-Tool-Payloads verdichten.
Headroom
Reversible Verdichtung tabellarischer und strukturierter Daten.
Relevance
Sätze mit höchster Relevanz für die letzte Anfrage behalten.
Caveman
Regelbasierte Textverdichtung anwenden.
Aggressive
Stärkeres konfiguriertes Pruning anwenden.
LLMLingua-2
Code-sicheres semantisches Pruning in einem isolierten Worker.
Ultra
Stufen mit hoher Einsparung mit Schutzmechanismen kombinieren.
OmniGlyph
Berechtigte wiederholte Strukturen kompakt codieren.

Profiles

Veröffentlichter Profilbereich~30%x-omniroute-compression: standard

Controls and output styles

Benannte Profile und aktiver Selektor
Visuelles Compression Studio
Anthropic Context Editing
Adaptiver Kontextbudget-Regler
Pro Anfrage \
Header
Offline-Eval-Harness
Auto-Trigger bei Token-Schwelle
Terse prose
Less code (YAGNI)
Terse CJK 文言

Steuerungsreihenfolge: Request-Header → Combo → Profil → adaptive Richtlinie → Standard.

Fehlerisolation

Anbieter-, Verbindungs- und Modellfehler isolieren.

Ein defekter Schlüssel darf keinen Anbieter lahmlegen. Ein limitiertes Modell keine Verbindung.

Modell ⊂ Verbindung ⊂ Anbieter

Provider-Circuit-BreakerIst ein Anbieter ungesund, überspringt das Combo-Routing ihn, bis eine Half-Open-Probe erfolgreich ist.

Verbindungs-CooldownEinen Schlüssel oder ein Konto abkühlen lassen, während Geschwisterverbindungen weiter bedienen.

Modell-LockoutEin rate-limitiertes oder nicht verfügbares Modell sperren, während andere Modelle der Verbindung verfügbar bleiben.

Netzwerk- und lokale Datenkontrollen

Netzwerk-Routing und lokale Datenkontrolle.

Proxy-Scopes steuern das Netzwerk-Routing, während Local-First-Speicherung Betriebsdaten auf deinem Rechner hält.

Drei Proxy-Scopes

Global, pro Anbieter oder pro einzelner Verbindung routen.

Global · pro Anbieter · pro Verbindung
SOCKS5- und HTTP(S)-Proxys
Proxy-Marketplace-Integration

TLS- und Client-Fingerprint-Kontrollen

Unterstützte Anbieter-Clients bis zu ausgewählten Transportmerkmalen nachbilden.

JA3/JA4-fähiger Transport über wreq-js
Anbieterspezifische Client-Profile
IPv4- und IPv6-Egress-Kontrollen

Privat und Local-First

Schlüssel, Nutzung und Verlauf bleiben auf dem Host, den du kontrollierst.

SQLite auf der Festplatte mit AES-256-GCM-verschlüsselten Zugangsdaten
Kein OmniRoute-Konto erforderlich
Self-Hosting auf Infrastruktur deiner Wahl

RusslandChinaIranKubaTürkei