OmniRoute / Biztonság és adatkontroll

Vezérlők, amelyeknek elolvashatod a forrását.

Guardrailek a kérés útján, hálózati és identitásvezérlők, titkosított helyi hitelesítő adatok, és ami utólag auditálható marad.

Vezérlők

Mit ellenőriz az átjáró, és hol.

Az alábbi vezérlők mind az általad hosztolt folyamatban futnak. Egyik sem függ Cheaper Inference-fióktól.

A kérés útján

Ellenőrzések, amelyek lefutnak, mielőtt a prompt elhagyja a gépet, és mielőtt a válasz eléri a hívót.

  • Prompt-injection védelem minden irányított kérésen
  • Opcionális hitelesítőadat-maszkolás, amely mindkét irányban kitakarja a kiszivárgott kulcsokat
  • Opcionális PII-kitakarás
  • Egységesített biztonsági szűrők, amelyek nem függnek egy szolgáltató szabályzatától
  • Vizuális guardrailek képbemenetekre

Hálózat és identitás

Vezérlők afölött, hogyan hagyják el a kérések a hosztot, és hogyan néznek ki a vonalon.

  • Proxy-hatókörök: globális, szolgáltatónként, kapcsolatonként
  • SOCKS5 és HTTP(S) proxyk
  • JA3/JA4-képes TLS-átvitel szolgáltatóspecifikus kliensprofilokkal
  • IPv4 és IPv6 kimenet kiválasztása
  • SSRF-védelem, amely blokkolja a privát címtartományokat kimenő lekéréseknél
  • IP-engedélylisták és tiltólisták az irányítópulton

Hitelesítő adatok és helyi adatok

A kulcsok, előzmények és használat az általad futtatott hoszton maradnak, a saját adatbázisodban.

  • AES-256-GCM titkosított hitelesítő adatok helyi SQLite-ban
  • Hatókörös API-kulcsok modell- és szolgáltatókorlátozással
  • Kulcsonkénti USD költéskorlátok és tokenkeretek
  • OAuth-fiók e-mail maszkolása, alapból bekapcsolva
  • Az átjáró futtatásához nem kell OmniRoute-fiók

Üzemeltetés és audit

Amit utólag rekonstruálhatsz, és hogy kinek volt rá joga.

  • Adminisztratív auditnapló művelet, végrehajtó és cél szerint szűrve
  • Kérésnaplók szolgáltató, modell, fiók és kulcs szerint szűrve
  • Opcionális OIDC bejelentkezési kapu, jelszavas belépés mindig elérhető
  • Adaptív beengedés, amely sorba állítja a nehéz kéréseket, ahelyett hogy elutasítaná
  • Adatbázis-export és -import mentéshez és migrációhoz

Hálózati elérés

Hálózati útválasztás és helyi adatvezérlők.

A proxy-hatókörök a hálózati útválasztást szabályozzák, a local-first tárolás pedig a gépeden tartja az üzemi adatokat.

Három proxy-hatókör

Irányíts globálisan, szolgáltatónként vagy egyedi kapcsolatonként.

  • Globális · szolgáltatónként · kapcsolatonként
  • SOCKS5 és HTTP(S) proxyk
  • Proxy-piactér integráció

TLS- és kliens-ujjlenyomat vezérlők

Illeszkedj a támogatott szolgáltatói kliensekhez egészen a kiválasztott átviteli jellemzőkig.

  • JA3/JA4-képes átvitel wreq-js-en keresztül
  • Szolgáltatóspecifikus kliensprofilok
  • IPv4 és IPv6 kimeneti vezérlők

Privát és local-first

A kulcsok, a használat és az előzmények az általad felügyelt hoszton maradnak.

  • SQLite a lemezen, AES-256-GCM titkosított hitelesítő adatokkal
  • Nem kell OmniRoute-fiók
  • Saját hosztolás az általad választott infrastruktúrán
OroszországKínaIránKubaTörökország

Hibaizoláció

Izoláld a szolgáltatói, kapcsolati és modellhibákat.

Egy rossz kulcs ne üssön ki egy szolgáltatót. Egy korlátozott modell ne üssön ki egy kapcsolatot.

modell ⊂ kapcsolat ⊂ szolgáltató
Szolgáltatói circuit breakerHa egy szolgáltató nem egészséges, a kombó-útválasztás kihagyja, amíg egy félig nyitott próba nem sikerül.
Kapcsolati lehűlésHűts le egy kulcsot vagy fiókot, míg a testvérkapcsolatok tovább kiszolgálnak.
ModellzárolásZárolj egy rate-limitelt vagy elérhetetlen modellt, míg a kapcsolat többi modellje elérhető marad.

OmniRoute a Cheaper Inference-től

Válaszd ki, hogyan futtatod az OmniRoute-ot.

Hosztold magad az OmniRoute-ot, vagy használd a Cheaper Inference-t hosztolt, költség szerint rangsorolt átjáróként.