OmniRoute / Keselamatan dan kawalan data

Kawalan yang boleh anda baca kod sumbernya.

Guardrail pada laluan permintaan, kawalan rangkaian dan identiti, kelayakan lokal disulitkan, dan apa yang kekal boleh diaudit selepas itu.

Kawalan

Apa yang disemak gateway, dan di mana.

Setiap kawalan di bawah berjalan dalam proses yang anda hos. Tiada satu pun bergantung pada akaun Cheaper Inference.

Pada laluan permintaan

Semakan yang berjalan sebelum prompt meninggalkan mesin dan sebelum respons sampai kepada pemanggil.

  • Pengawal suntikan prompt pada setiap permintaan yang dihalakan
  • Penyamaran kelayakan pilihan yang menyunting kunci bocor dalam kedua-dua arah
  • Penyuntingan PII pilihan
  • Penapis keselamatan ternormal yang tidak bergantung pada polisi satu pembekal
  • Guardrail penglihatan untuk input imej

Rangkaian dan identiti

Kawalan atas cara permintaan meninggalkan hos dan rupanya di atas wayar.

  • Skop proksi: global, setiap pembekal, setiap sambungan
  • Proksi SOCKS5 dan HTTP(S)
  • Pengangkutan TLS berkeupayaan JA3/JA4 dengan profil klien khusus pembekal
  • Pemilihan egres IPv4 dan IPv6
  • Pengawal SSRF yang menyekat julat alamat peribadi pada fetch keluar
  • Senarai izin dan senarai sekat IP pada papan pemuka

Kelayakan dan data lokal

Kunci, sejarah dan penggunaan kekal pada hos yang anda jalankan, dalam pangkalan data milik anda.

  • Kelayakan disulitkan AES-256-GCM dalam SQLite lokal
  • Kunci API berskop dengan sekatan model dan pembekal
  • Had perbelanjaan USD dan bajet token setiap kunci
  • Penyamaran e-mel akaun OAuth, aktif secara lalai
  • Tiada akaun OmniRoute diperlukan untuk menjalankan gateway

Operasi dan audit

Apa yang boleh anda bina semula selepas kejadian, dan siapa yang dibenarkan melakukannya.

  • Log audit pentadbiran ditapis mengikut tindakan, pelaku dan sasaran
  • Log permintaan ditapis mengikut pembekal, model, akaun dan kunci
  • Pintu log masuk OIDC pilihan, dengan log masuk kata laluan sentiasa tersedia
  • Kemasukan adaptif yang membaris permintaan berat dan bukannya menggagalkannya
  • Eksport dan import pangkalan data untuk sandaran dan migrasi

Capaian rangkaian

Penghalaan rangkaian dan kawalan data lokal.

Skop proksi mengawal penghalaan rangkaian sementara storan mengutamakan lokal menyimpan data operasi pada mesin anda.

Tiga skop proksi

Halakan secara global, mengikut pembekal atau mengikut sambungan individu.

  • Global · setiap pembekal · setiap sambungan
  • Proksi SOCKS5 dan HTTP(S)
  • Integrasi pasaran proksi

Kawalan cap jari TLS dan klien

Padankan klien pembekal yang disokong hingga ke ciri pengangkutan terpilih.

  • Pengangkutan berkeupayaan JA3/JA4 melalui wreq-js
  • Profil klien khusus pembekal
  • Kawalan egres IPv4 dan IPv6

Peribadi dan mengutamakan lokal

Kunci, penggunaan dan sejarah kekal pada hos yang anda kawal.

  • SQLite pada cakera dengan kelayakan disulitkan AES-256-GCM
  • Tiada akaun OmniRoute diperlukan
  • Hos sendiri pada infrastruktur pilihan anda
RusiaChinaIranCubaTürkiye

Pengasingan kegagalan

Asingkan kegagalan pembekal, sambungan dan model.

Kunci yang rosak tidak sepatutnya melumpuhkan pembekal. Model yang dihadkan tidak sepatutnya melumpuhkan sambungan.

model ⊂ sambungan ⊂ pembekal
Pemutus litar pembekalApabila pembekal tidak sihat, penghalaan kombo melangkaunya sehingga probe separuh buka berjaya.
Cooldown sambunganRehatkan satu kunci atau akaun sementara sambungan lain terus melayan.
Sekatan modelSekat satu model yang dihadkan kadar atau tidak tersedia sementara model lain pada sambungan itu kekal tersedia.

OmniRoute oleh Cheaper Inference

Pilih cara anda menjalankan OmniRoute.

Hos sendiri OmniRoute, atau gunakan Cheaper Inference untuk gateway terhos yang disusun mengikut kos.