OmniRoute / Bezpečnost a kontrola dat

Mechanismy, jejichž zdrojový kód si můžete přečíst.

Guardraily na cestě požadavku, řízení sítě a identity, šifrované lokální přihlašovací údaje a to, co zůstává auditovatelné i poté.

Projít mechanismy Vyzkoušet Cheaper Inference Zpět na přehled

Mechanismy

Co gateway kontroluje a kde.

Každý mechanismus níže běží v procesu, který hostujete. Nic z toho nezávisí na účtu Cheaper Inference.

Na cestě požadavku

Kontroly, které proběhnou, než prompt opustí stroj a než odpověď dorazí k volajícímu.

Ochrana proti prompt injection u každého směrovaného požadavku
Volitelné maskování přihlašovacích údajů, které redaguje uniklé klíče oběma směry
Volitelná redakce PII
Normalizované bezpečnostní filtry nezávislé na politice jednoho poskytovatele
Vision guardraily pro obrazové vstupy

Síť a identita

Řízení toho, jak požadavky opouštějí hostitele a jak vypadají na drátě.

Rozsahy proxy: globální, per poskytovatel, per připojení
SOCKS5 a HTTP(S) proxy
TLS transport s podporou JA3/JA4 a profily klientů pro konkrétní poskytovatele
Výběr odchozího IPv4 a IPv6
SSRF ochrana blokující privátní rozsahy adres u odchozích fetchů
IP allowlisty a blocklisty v dashboardu

Přihlašovací údaje a lokální data

Klíče, historie a využití zůstávají na hostiteli, který provozujete, v databázi, kterou vlastníte.

Přihlašovací údaje šifrované AES-256-GCM v lokálním SQLite
Scopované API klíče s omezením na modely a poskytovatele
Limity útraty v USD a rozpočty tokenů per klíč
Maskování e-mailu OAuth účtu, ve výchozím stavu zapnuté
K provozu gateway není potřeba účet OmniRoute

Provoz a audit

Co dokážete zpětně zrekonstruovat a kdo k tomu měl oprávnění.

Administrativní auditní log filtrovaný podle akce, aktéra a cíle
Logy požadavků filtrované podle poskytovatele, modelu, účtu a klíče
Volitelná brána přihlášení OIDC, heslem se lze přihlásit vždy
Adaptivní admission, která těžké požadavky zařadí do fronty místo zamítnutí
Export a import databáze pro zálohu a migraci

Dosah sítě

Síťové směrování a kontrola lokálních dat.

Rozsahy proxy řídí síťové směrování, zatímco local-first úložiště drží provozní data na vašem stroji.

Tři rozsahy proxy

Směrujte globálně, per poskytovatel nebo per jednotlivé připojení.

Globální · per poskytovatel · per připojení
SOCKS5 a HTTP(S) proxy
Integrace proxy marketplace

Řízení TLS a fingerprintu klienta

Napodobte podporované klienty poskytovatelů až po vybrané vlastnosti transportu.

Transport s podporou JA3/JA4 přes wreq-js
Profily klientů pro konkrétní poskytovatele
Řízení odchozího provozu IPv4 a IPv6

Soukromé a local-first

Klíče, využití i historie zůstávají na hostiteli, který ovládáte.

SQLite na disku s přihlašovacími údaji šifrovanými AES-256-GCM
Bez nutnosti účtu OmniRoute
Self-hosting na infrastruktuře podle vašeho výběru

RuskoČínaÍránKubaTurecko

Izolace selhání

Izolujte selhání poskytovatele, připojení i modelu.

Špatný klíč by neměl shodit poskytovatele. Omezený model by neměl shodit připojení.

model ⊂ připojení ⊂ poskytovatel

Circuit breaker poskytovateleKdyž je poskytovatel nezdravý, combo směrování ho přeskakuje, dokud neuspěje half-open sonda.

Cooldown připojeníZchlaďte jeden klíč nebo účet, zatímco sousední připojení dál obsluhují.

Lockout modeluZamkněte jeden model omezený rate limitem nebo nedostupný, zatímco ostatní modely na připojení zůstávají k dispozici.