OmniRoute / Bảo mật và kiểm soát dữ liệu

Các kiểm soát bạn có thể đọc mã nguồn.

Guardrail trên đường đi của request, kiểm soát mạng và danh tính, thông tin đăng nhập cục bộ mã hóa, và những gì còn kiểm toán được sau đó.

Xem các kiểm soát Dùng thử Cheaper Inference Về trang tổng quan

Kiểm soát

Gateway kiểm tra gì, và ở đâu.

Mọi kiểm soát dưới đây chạy trong tiến trình bạn host. Không gì phụ thuộc vào tài khoản Cheaper Inference.

Trên đường đi của request

Các kiểm tra chạy trước khi prompt rời máy và trước khi phản hồi tới người gọi.

Bảo vệ prompt injection trên mọi request được định tuyến
Ẩn thông tin đăng nhập tùy chọn, xóa key bị lộ theo cả hai chiều
Ẩn PII tùy chọn
Bộ lọc an toàn chuẩn hóa không phụ thuộc chính sách của một nhà cung cấp
Guardrail thị giác cho đầu vào hình ảnh

Mạng và danh tính

Kiểm soát cách request rời host và hình dạng của chúng trên đường truyền.

Phạm vi proxy: toàn cục, theo nhà cung cấp, theo kết nối
Proxy SOCKS5 và HTTP(S)
Transport TLS hỗ trợ JA3/JA4 với profile client theo nhà cung cấp
Chọn egress IPv4 và IPv6
Bảo vệ SSRF chặn dải địa chỉ riêng khi fetch ra ngoài
Danh sách IP cho phép và chặn trên dashboard

Thông tin đăng nhập và dữ liệu cục bộ

Key, lịch sử và mức sử dụng nằm trên host bạn chạy, trong cơ sở dữ liệu bạn sở hữu.

Thông tin đăng nhập mã hóa AES-256-GCM trong SQLite cục bộ
API key có phạm vi với giới hạn mô hình và nhà cung cấp
Giới hạn chi tiêu USD và ngân sách token theo từng key
Ẩn email tài khoản OAuth, bật mặc định
Không cần tài khoản OmniRoute để chạy gateway

Vận hành và kiểm toán

Những gì bạn có thể tái dựng sau đó, và ai đã được phép làm việc đó.

Log kiểm toán quản trị lọc theo hành động, người thực hiện và đích
Log request lọc theo nhà cung cấp, mô hình, tài khoản và key
Cổng đăng nhập OIDC tùy chọn, đăng nhập mật khẩu luôn khả dụng
Kiểm soát nhận thích ứng xếp hàng request nặng thay vì từ chối
Xuất và nhập cơ sở dữ liệu để sao lưu và di chuyển

Phạm vi mạng

Định tuyến mạng và kiểm soát dữ liệu cục bộ.

Phạm vi proxy kiểm soát định tuyến mạng, còn lưu trữ ưu tiên cục bộ giữ dữ liệu vận hành trên máy của bạn.

Ba phạm vi proxy

Định tuyến toàn cục, theo nhà cung cấp hoặc theo từng kết nối.

Toàn cục · theo nhà cung cấp · theo kết nối
Proxy SOCKS5 và HTTP(S)
Tích hợp marketplace proxy

Kiểm soát fingerprint TLS và client

Khớp với client của nhà cung cấp được hỗ trợ tới từng đặc tính transport được chọn.

Transport hỗ trợ JA3/JA4 qua wreq-js
Profile client theo từng nhà cung cấp
Kiểm soát egress IPv4 và IPv6

Riêng tư và ưu tiên cục bộ

Key, mức sử dụng và lịch sử nằm trên host bạn kiểm soát.

SQLite trên đĩa với thông tin đăng nhập mã hóa AES-256-GCM
Không cần tài khoản OmniRoute
Tự host trên hạ tầng bạn chọn

NgaTrung QuốcIranCubaThổ Nhĩ Kỳ

Cô lập lỗi

Cô lập lỗi nhà cung cấp, kết nối và mô hình.

Một key hỏng không nên làm hỏng cả nhà cung cấp. Một mô hình bị giới hạn không nên làm hỏng cả kết nối.

mô hình ⊂ kết nối ⊂ nhà cung cấp

Circuit breaker nhà cung cấpKhi nhà cung cấp không khỏe, định tuyến combo bỏ qua nó cho tới khi probe half-open thành công.

Cooldown kết nốiCho một key hoặc tài khoản nghỉ trong khi các kết nối anh em vẫn phục vụ.

Khóa mô hìnhKhóa một mô hình bị giới hạn tốc độ hoặc không khả dụng trong khi các mô hình khác trên kết nối vẫn sẵn sàng.