OmniRouteby Cheaper Inference

OmniRoute / Capacidades do produto

Controlos que pode inspecionar e alojar.

Reveja os controlos do gateway, os serviços da plataforma e o painel local sem tratar uma lista de funcionalidades como uma promessa de alojamento.

Rever capacidades Experimentar a Cheaper Inference Voltar à visão geral

Controlos essenciais

O que vem incluído no gateway auto-alojado.

Controlo essencial

Mantenha os pedidos a fluir

Quando um destino está indisponível ou sem quota, o OmniRoute seleciona o próximo destino saudável.

Controlo essencial

Comprima o contexto elegível

Um pipeline com 12 motores reduz o contexto elegível em 15–95%. O exemplo documentado com muitas ferramentas reduziu-o em ~89%.

Controlo essencial

0 $ para começar

90+ escalões gratuitos e 56 fornecedores gratuitos para sempre, recorrentes ou sem chave. Sem cartão de crédito para o arranque rápido sem chave.

Controlo essencial

35 integrações suportadas

Configure o Claude Code, Codex, Cursor, Cline, Copilot, Antigravity e outros clientes suportados através de um único endpoint.

Controlo essencial

Um endpoint

Aceite pedidos OpenAI, Claude, Gemini e Responses API em /v1.

Controlo essencial

Controlos operacionais

Circuit breakers, credenciais encriptadas, MCP, A2A, memória, guardrails e evals incluídos no gateway auto-alojado.

Capacidades

Configure o caminho do pedido a partir de um único painel.

Configure fallback, quota, compressão, memória, MCP e A2A a partir do painel local.

Controlo do gateway

Smart Combos

Defina um modelo como auto ou construa o seu próprio combo com 19 estratégias e fallback por níveis.

Use um modo pronto a usar ou combine 19 estratégias em torno do objetivo que importa.

Controlo do gateway

Memória

Memória conversacional persistente com pesquisa por palavras-chave FTS5 e recuperação vetorial Qdrant.

Controlo do gateway

Resiliência em 3 camadas

Breaker por fornecedor, cooldown por ligação e bloqueio por modelo isolam as falhas no menor âmbito útil.

Controlo do gateway

Quota gratuita

Contabilidade sem duplicados por pool em 90+ escalões gratuitos.

Capacidade gratuita publicada, sem duplicados.

Controlo do gateway

Compressão

12 motores combináveis para saída de ferramentas, contexto e estilo de resposta.

Reduza os tokens elegíveis em 15–95%.

Controlo do gateway

Servidor MCP

Um servidor integrado que expõe 110 ferramentas do gateway em 33 âmbitos.

110 ferramentas · 33 âmbitos · stdio / HTTP

Controlo do gateway

Protocolo A2A

Um servidor de agentes JSON-RPC com 6 skills.

6 skills · JSON-RPC 2.0 · Agent Card

Controlo do gateway

Cache semântica

Um pedido repetido pode ser devolvido a partir da cache, e o cabeçalho da resposta indica o que isso poupou.

X-OmniRoute-Cache: HIT

Serviços da plataforma

Estenda o gateway local.

Serviços incorporados

Execute Bifrost, 9Router ou CLIProxy como sidecars geridos, ou opere um perfil de cluster completo.

O seu conhecimento, em contexto

Ligue o Notion e o Obsidian como fontes de contexto suportadas por MCP.

Guardrails integrados

Verificações de prompt injection, redação opcional de PII e filtros de segurança normalizados sem dependência de um fornecedor.

Objetivos de utilização

Acompanhe sequências, conquistas e poupanças em tempo real a par das análises operacionais.

Painel

Inspecione a configuração e vistas operacionais de exemplo.

Os valores abaixo são dados de exemplo. O seu painel local reflete os seus próprios fornecedores, pedidos e custos.

localhost:20128/dashboardDados de exemplo
352fornecedores ligados
90+escalões gratuitos disponíveis
198saudáveis neste exemplo
  • Claude Code · OAuth · ativo
  • Cerebras · gratuito · ativo
  • Groq · exemplo de cooldown
  • NVIDIA NIM · gratuito · ativo

OmniRoute da Cheaper Inference

Escolha como executa o OmniRoute.

Aloje o OmniRoute, ou use a Cheaper Inference para um gateway alojado ordenado por custo.

Experimentar a Cheaper Inference Alojar o OmniRoute (abre num novo separador) Ver no GitHub (abre num novo separador)