OmniRoute / Encaminhamento e controlo

Escolha como cada pedido se move.

Inspecione estratégias de encaminhamento, contabilidade dos escalões gratuitos, compressão, isolamento de falhas e controlos de rede.

Inspecionar o encaminhamento Experimentar a Cheaper Inference Voltar à visão geral

Estratégias de encaminhamento

Escolha uma rota `auto` ou construa a sua.

Use um modo pronto a usar ou combine 19 estratégias em torno do objetivo que importa.

Modelo · fallback ativadoautoBalanced default

Pedido compatível com OpenAI

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Esgotar a quota da subscrição

Use a quota que já tem antes de tocar em APIs pagas.

priority · fill-first

Distribuir carga

Equilibre o tráfego entre chaves e contas para reduzir a pressão dos rate limits.

weighted · round-robin · p2c · least-used · headroom

Mais barato primeiro

Encaminhe para o destino elegível de menor custo.

cost-optimized

Sensível ao contexto

Mantenha contextos longos em modelos onde cabem e reencaminhe quando necessário.

context-relay · context-optimized · cache-optimized

Aleatório

Distribua o tráfego elegível entre destinos.

random · strict-random

Pontuação adaptativa

Use pontuação com 15 fatores, último bom conhecido e janelas sensíveis a resets.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Contabilidade dos escalões gratuitos

Aproximadamente 1.51B tokens publicados por mês.

455 entradas do catálogo são desduplicadas em 40 pools recorrentes; só orçamentos positivos publicados alimentam o número principal.

1.51B

A contabilidade sem duplicados por pool evita que quotas partilhadas sejam contadas mais de uma vez. Os fornecedores sem limite continuam visíveis sem inflacionar o total de tokens. Checked 2026-08-30.

View the calculation

Fornecedores gratuitos para sempre, recorrentes ou sem chave56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Compressão de contexto

Reduza os tokens elegíveis em 15–95%.

Saída de ferramentas, contexto repetido e dados estruturados inchados podem ser comprimidos antes de chegarem ao modelo.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Descarte conteúdo já enviado anteriormente na sessão.
CCR
Arquive blocos grandes e restaure-os a pedido.
Lite
Aplique uma limpeza conservadora sem perdas.
RTK
Filtre e desduplique a saída de comandos e ferramentas.
Responses Tool Output
Compacte payloads de ferramentas da Responses API.
Headroom
Aplique compactação reversível de dados tabulares e estruturados.
Relevance
Mantenha as frases mais relevantes para a consulta mais recente.
Caveman
Use condensação de prosa baseada em regras.
Aggressive
Aplique uma poda configurada mais forte.
LLMLingua-2
Use poda semântica segura para código num worker isolado.
Ultra
Combine fases de alta poupança com salvaguardas de preservação.
OmniGlyph
Codifique de forma compacta estruturas repetidas elegíveis.

Profiles

Intervalo publicado do perfil~30%x-omniroute-compression: standard

Controls and output styles

Perfis nomeados e seletor ativo
Compression Studio visual
Anthropic Context Editing
Regulador adaptativo do orçamento de contexto
Cabeçalho \
por pedido
Ambiente de eval offline
Ativação automática por limiar de tokens
Terse prose
Less code (YAGNI)
Terse CJK 文言

Precedência de controlo: cabeçalho do pedido → combo → perfil → política adaptativa → predefinição.

Isolamento de falhas

Isole falhas de fornecedor, ligação e modelo.

Uma chave má não deve matar um fornecedor. Um modelo limitado não deve matar uma ligação.

modelo ⊂ ligação ⊂ fornecedor

Circuit breaker por fornecedorQuando um fornecedor não está saudável, o encaminhamento por combo salta-o até uma sonda half-open ter sucesso.

Cooldown por ligaçãoPonha uma chave ou conta em cooldown enquanto as ligações irmãs continuam a servir.

Bloqueio por modeloBloqueie um modelo com rate limit ou indisponível enquanto os outros modelos da ligação continuam disponíveis.

Controlos de rede e dados locais

Controlos de encaminhamento de rede e dados locais.

Os âmbitos de proxy controlam o encaminhamento de rede, enquanto o armazenamento local-first mantém os dados operacionais na sua máquina.

Três âmbitos de proxy

Encaminhe globalmente, por fornecedor ou por ligação individual.

Global · por fornecedor · por ligação
Proxies SOCKS5 e HTTP(S)
Integração com marketplace de proxies

Controlos de fingerprint TLS e de cliente

Imite clientes de fornecedores suportados até características selecionadas do transporte.

Transporte com suporte JA3/JA4 via wreq-js
Perfis de cliente específicos por fornecedor
Controlos de saída IPv4 e IPv6

Privado e local-first

Chaves, utilização e histórico ficam no host que controla.

SQLite em disco com credenciais encriptadas AES-256-GCM
Não é necessária conta OmniRoute
Aloje na infraestrutura que escolher

RússiaChinaIrãoCubaTürkiye