OmniRouteby Cheaper Inference

OmniRoute / 製品の機能

検証してセルフホストできるコントロール。

機能リストをホスティングの約束として扱わずに、ゲートウェイコントロール、プラットフォームサービス、ローカルダッシュボードを確認。

機能を確認 Cheaper Inference を試す 概要に戻る

コアコントロール

セルフホスト版ゲートウェイに同梱されるもの。

コアコントロール

リクエストを止めない

ターゲットが利用不可またはクォータ切れのとき、OmniRoute は次の正常なターゲットを選択します。

コアコントロール

対象コンテキストを圧縮

12 エンジンのパイプラインが対象コンテキストを 15–95% 削減。ドキュメント記載のツール多用の例では ~89% 削減しました。

コアコントロール

$0 で開始

90+ の無料枠と、56 の定期更新またはキー不要の永続無料プロバイダー。キー不要のクイックスタートにクレジットカードは不要です。

コアコントロール

35 の対応インテグレーション

Claude Code、Codex、Cursor、Cline、Copilot、Antigravity などの対応クライアントをひとつのエンドポイントで設定。

コアコントロール

ひとつのエンドポイント

OpenAI、Claude、Gemini、Responses API のリクエストを /v1 で受け付けます。

コアコントロール

運用コントロール

サーキットブレーカー、暗号化された認証情報、MCP、A2A、メモリ、ガードレール、評価がセルフホスト版ゲートウェイに同梱。

機能

リクエスト経路をひとつのダッシュボードから設定。

フォールバック、クォータ、圧縮、メモリ、MCP、A2A をローカルダッシュボードから設定。

ゲートウェイコントロール

スマートコンボ

モデルを auto に設定するか、19 種類の戦略と階層型フォールバックで独自のコンボを構築。

既成のモードを使うか、重視する目標に合わせて 19 種類の戦略を組み合わせる。

ゲートウェイコントロール

メモリ

FTS5 キーワード検索と Qdrant ベクトル検索による永続的な会話メモリ。

ゲートウェイコントロール

3 層のレジリエンス

プロバイダーブレーカー、接続クールダウン、モデルロックアウトが障害を最小限の範囲に隔離。

ゲートウェイコントロール

無料クォータ

90+ の無料枠をプール単位で重複排除して集計。

公開された無料枠の容量を、重複排除して。

ゲートウェイコントロール

圧縮

ツール出力、コンテキスト、応答スタイル向けの 12 の組み合わせ可能なエンジン。

対象トークンを 15–95% 削減。

ゲートウェイコントロール

MCP サーバー

33 スコープにわたる 110 のゲートウェイツールを公開する組み込みサーバー。

110 ツール · 33 スコープ · stdio / HTTP

ゲートウェイコントロール

A2A プロトコル

6 のスキルを備えた JSON-RPC エージェントサーバー。

6 スキル · JSON-RPC 2.0 · Agent Card

ゲートウェイコントロール

セマンティックキャッシュ

繰り返しのリクエストはキャッシュから返され、応答ヘッダーが削減額を報告します。

X-OmniRoute-Cache: HIT

プラットフォームサービス

ローカルゲートウェイを拡張。

組み込みサービス

Bifrost、9Router、CLIProxy をマネージドサイドカーとして実行するか、完全なクラスタープロファイルを運用。

自分のナレッジをコンテキストに

Notion と Obsidian を MCP ベースのコンテキストソースとして接続。

組み込みのガードレール

プロンプトインジェクション検査、オプトインの PII マスキング、正規化された安全フィルターをプロバイダーロックインなしで。

使用目標

運用分析と並べて、ストリーク、実績、リアルタイムの削減額を追跡。

ダッシュボード

設定と運用ビューの例を確認。

以下の値はサンプルデータです。ローカルダッシュボードには自分のプロバイダー、リクエスト、コストが反映されます。

localhost:20128/dashboardサンプルデータ
352接続中のプロバイダー
90+利用可能な無料枠
198この例で正常
  • Claude Code · OAuth · 稼働中
  • Cerebras · 無料 · 稼働中
  • Groq · クールダウンの例
  • NVIDIA NIM · 無料 · 稼働中

OmniRoute by Cheaper Inference

OmniRoute の使い方を選ぶ。

OmniRoute をセルフホストするか、ホスト型のコスト順ゲートウェイとして Cheaper Inference を使う。

Cheaper Inference を試す OmniRoute をセルフホスト (新しいタブで開きます) GitHub で見る (新しいタブで開きます)