OmniRoute / Sicurezza e controllo dei dati

Controlli di cui puoi leggere il codice.

Guardrail sul percorso della richiesta, controlli di rete e identità, credenziali locali cifrate e ciò che resta verificabile in seguito.

Controlli

Cosa controlla il gateway, e dove.

Ogni controllo qui sotto gira nel processo che ospiti tu. Nulla dipende da un account Cheaper Inference.

Sul percorso della richiesta

Controlli eseguiti prima che un prompt lasci la macchina e prima che una risposta arrivi al chiamante.

  • Protezione anti prompt injection su ogni richiesta instradata
  • Mascheramento opt-in delle credenziali che oscura le chiavi trapelate in entrambe le direzioni
  • Redazione PII opt-in
  • Filtri di sicurezza normalizzati che non dipendono dalla policy di un singolo provider
  • Guardrail visivi per gli input immagine

Rete e identità

Controlli su come le richieste lasciano l'host e su come appaiono sulla rete.

  • Scope proxy: globale, per provider, per connessione
  • Proxy SOCKS5 e HTTP(S)
  • Trasporto TLS con supporto JA3/JA4 e profili client specifici per provider
  • Selezione dell'uscita IPv4 e IPv6
  • Protezione SSRF che blocca gli intervalli di indirizzi privati nelle fetch in uscita
  • Allowlist e blocklist IP sulla dashboard

Credenziali e dati locali

Chiavi, cronologia e utilizzo restano sull'host che gestisci, in un database di tua proprietà.

  • Credenziali cifrate AES-256-GCM in SQLite locale
  • Chiavi API con scope e restrizioni su modelli e provider
  • Limiti di spesa in USD e budget di token per chiave
  • Mascheramento dell'email degli account OAuth, attivo di default
  • Nessun account OmniRoute richiesto per eseguire il gateway

Operazioni e audit

Cosa puoi ricostruire a posteriori e chi era autorizzato a farlo.

  • Log di audit amministrativo filtrabile per azione, attore e target
  • Log delle richieste filtrabili per provider, modello, account e chiave
  • Login OIDC opzionale, con login via password sempre disponibile
  • Ammissione adattiva che mette in coda le richieste pesanti invece di farle fallire
  • Esportazione e importazione del database per backup e migrazione

Portata di rete

Routing di rete e controllo dei dati locali.

Gli scope proxy controllano il routing di rete, mentre lo storage local-first tiene i dati operativi sulla tua macchina.

Tre scope proxy

Instrada a livello globale, per provider o per singola connessione.

  • Globale · per provider · per connessione
  • Proxy SOCKS5 e HTTP(S)
  • Integrazione con marketplace di proxy

Controlli del fingerprint TLS e client

Replica i client dei provider supportati fino a caratteristiche di trasporto selezionate.

  • Trasporto con supporto JA3/JA4 tramite wreq-js
  • Profili client specifici per provider
  • Controlli di uscita IPv4 e IPv6

Privato e local-first

Chiavi, utilizzo e cronologia restano sull'host che controlli.

  • SQLite su disco con credenziali cifrate AES-256-GCM
  • Nessun account OmniRoute richiesto
  • Self-hosting sull'infrastruttura che scegli
RussiaCinaIranCubaTürkiye

Isolamento dei guasti

Isola i guasti di provider, connessione e modello.

Una chiave guasta non deve bloccare un provider. Un modello limitato non deve bloccare una connessione.

modello ⊂ connessione ⊂ provider
Circuit breaker del providerQuando un provider non è sano, il routing delle combo lo salta finché una sonda half-open non ha successo.
Cooldown della connessioneMetti in pausa una chiave o un account mentre le connessioni sorelle continuano a servire.
Blocco del modelloBlocca un modello soggetto a rate limit o non disponibile mentre gli altri modelli della connessione restano disponibili.

OmniRoute di Cheaper Inference

Scegli come eseguire OmniRoute.

Fai self-hosting di OmniRoute oppure usa Cheaper Inference per un gateway hosted ordinato per costo.