OmniRoute / ルーティングと制御

各リクエストの動き方を選ぶ。

ルーティング戦略、無料枠の集計、圧縮、障害隔離、ネットワーク制御を確認。

ルーティング戦略

`auto` ルートを選ぶか、独自に構築。

既成のモードを使うか、重視する目標に合わせて 19 種類の戦略を組み合わせる。

モデル · フォールバック有効autoBalanced default
OpenAI 互換リクエスト
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

サブスクリプションのクォータを使い切る

有料 API に手を付ける前に、すでにあるクォータを使う。

priority · fill-first

負荷を分散

キーとアカウント間でトラフィックを分散し、レート制限の圧力を軽減。

weighted · round-robin · p2c · least-used · headroom

最安を優先

最も低コストな対象ターゲットにルーティング。

cost-optimized

コンテキスト対応

長いコンテキストは収まるモデルに保ち、必要に応じてリレー。

context-relay · context-optimized · cache-optimized

ランダム

対象トラフィックをターゲット間に分散。

random · strict-random

適応スコアリング

15 要素のスコアリング、最終正常記録、リセットを考慮したウィンドウを使用。

reset-window · reset-aware · lkgp · auto · fusion · pipeline

無料枠の集計

毎月およそ 1.51B の公開トークン。

455 のカタログエントリを 40 の定期更新プールに重複排除。公開された正の予算のみを見出しの数値に反映。

1.51B

プール単位の重複排除により、共有クォータの二重計上を防止。上限なしのプロバイダーはトークン合計を膨らませずに表示されます。 Checked 2026-08-30.

View the calculation (新しいタブで開きます)
定期更新またはキー不要の永続無料プロバイダー56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

コンテキスト圧縮

対象トークンを 15–95% 削減。

ツール出力、繰り返されるコンテキスト、肥大化した構造化データをモデルに届く前に圧縮。

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    セッション内で既に送信済みのコンテンツを除去。
  2. CCR
    大きなブロックをアーカイブし、必要時に復元。
  3. Lite
    控えめなロスレスのクリーンアップを適用。
  4. RTK
    コマンドとツールの出力をフィルタリングして重複排除。
  5. Responses Tool Output
    Responses API のツールペイロードを圧縮。
  6. Headroom
    可逆的な表形式・構造化データの圧縮を適用。
  7. Relevance
    最新のクエリに最も関連する文を保持。
  8. Caveman
    ルールベースの文章凝縮を使用。
  9. Aggressive
    設定されたより強いプルーニングを適用。
  10. LLMLingua-2
    分離ワーカーでコードセーフなセマンティックプルーニングを使用。
  11. Ultra
    高削減ステージと保護ガードを組み合わせる。
  12. OmniGlyph
    対象となる繰り返し構造をコンパクトにエンコード。

Profiles

公開されたプロファイルの範囲~30%x-omniroute-compression: standard

Standard 圧縮を選択。公開範囲 ~30%。

Controls and output styles

  • 名前付きプロファイルとアクティブセレクター
  • ビジュアル Compression Studio
  • Anthropic Context Editing
  • 適応コンテキスト予算ダイヤル
  • リクエスト単位の \
  • ヘッダー
  • オフライン評価ハーネス
  • トークンしきい値の自動トリガー
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

制御の優先順位: リクエストヘッダー → コンボ → プロファイル → 適応ポリシー → デフォルト。

障害隔離

プロバイダー、接続、モデルの障害を隔離。

不良なキーでプロバイダーが止まるべきではない。制限されたモデルで接続が止まるべきではない。

モデル ⊂ 接続 ⊂ プロバイダー
プロバイダーサーキットブレーカープロバイダーが不健全なとき、コンボルーティングはハーフオープンのプローブが成功するまでそれをスキップ。
接続クールダウンひとつのキーやアカウントをクールダウンしつつ、兄弟接続は処理を継続。
モデルロックアウトレート制限または利用不可のモデルひとつをロックし、同じ接続の他のモデルは利用可能なまま。

ネットワークとローカルデータの制御

ネットワークルーティングとローカルデータの制御。

プロキシスコープがネットワークルーティングを制御し、ローカルファーストの保存が運用データを自分のマシンに保持。

3 つのプロキシスコープ

グローバル、プロバイダー単位、接続単位でルーティング。

  • グローバル · プロバイダー単位 · 接続単位
  • SOCKS5 と HTTP(S) プロキシ
  • プロキシマーケットプレイス連携

TLS とクライアントフィンガープリント制御

対応プロバイダーのクライアントに、選択したトランスポート特性まで合わせる。

  • wreq-js による JA3/JA4 対応トランスポート
  • プロバイダー固有のクライアントプロファイル
  • IPv4 と IPv6 の送信制御

プライベートでローカルファースト

キー、使用量、履歴は自分が管理するホストに残ります。

  • ディスク上の SQLite に AES-256-GCM で暗号化した認証情報
  • OmniRoute アカウント不要
  • 選んだインフラでセルフホスト
ロシア中国イランキューバトルコ

OmniRoute by Cheaper Inference

OmniRoute の使い方を選ぶ。

OmniRoute をセルフホストするか、ホスト型のコスト順ゲートウェイとして Cheaper Inference を使う。