OmniRoute / אבטחה ושליטה בנתונים

בקרות שאפשר לקרוא את קוד המקור שלהן.

Guardrails בנתיב הבקשה, בקרות רשת וזהות, פרטי גישה מקומיים מוצפנים, ומה נשאר ניתן לביקורת אחר כך.

בקרות

מה השער בודק, ואיפה.

כל בקרה למטה רצה בתהליך שאתם מארחים. שום דבר מזה לא תלוי בחשבון Cheaper Inference.

בנתיב הבקשה

בדיקות שרצות לפני שפרומפט יוצא מהמכונה ולפני שתגובה מגיעה לקורא.

  • מגן prompt injection על כל בקשה מנותבת
  • מיסוך פרטי גישה בהפעלה יזומה שמסתיר מפתחות שדלפו בשני הכיוונים
  • הסתרת PII בהפעלה יזומה
  • מסנני בטיחות מנורמלים שאינם תלויים במדיניות של ספק אחד
  • Guardrails לראייה עבור קלט תמונות

רשת וזהות

בקרות על איך בקשות יוצאות מהמארח ואיך הן נראות על הקו.

  • תחומי פרוקסי: גלובלי, לפי ספק, לפי חיבור
  • פרוקסי SOCKS5 ו-HTTP(S)
  • תעבורת TLS עם תמיכת JA3/JA4 ופרופילי לקוח ייעודיים לכל ספק
  • בחירת יציאה ב-IPv4 ו-IPv6
  • מגן SSRF שחוסם טווחי כתובות פרטיים ב-fetch יוצא
  • רשימות היתר וחסימה של IP בדשבורד

פרטי גישה ונתונים מקומיים

מפתחות, היסטוריה ושימוש נשארים על המארח שאתם מריצים, במסד נתונים שבבעלותכם.

  • פרטי גישה מוצפנים ב-AES-256-GCM בתוך SQLite מקומי
  • מפתחות API מוגבלי תחום עם הגבלות מודל וספק
  • מגבלות הוצאה בדולרים ותקציבי טוקנים לכל מפתח
  • מיסוך כתובת האימייל של חשבון OAuth, מופעל כברירת מחדל
  • לא נדרש חשבון OmniRoute כדי להריץ את השער

תפעול וביקורת

מה אפשר לשחזר בדיעבד, ומי הורשה לעשות זאת.

  • יומן ביקורת ניהולי מסונן לפי פעולה, מבצע ויעד
  • יומני בקשות מסוננים לפי ספק, מודל, חשבון ומפתח
  • שער התחברות OIDC אופציונלי, עם התחברות בסיסמה זמינה תמיד
  • קבלה אדפטיבית שמכניסה בקשות כבדות לתור במקום להכשיל אותן
  • ייצוא וייבוא של מסד הנתונים לגיבוי ולמיגרציה

טווח רשת

ניתוב רשת ובקרות נתונים מקומיות.

תחומי פרוקסי שולטים בניתוב הרשת, ואחסון local-first שומר את הנתונים התפעוליים על המכונה שלכם.

שלושה תחומי פרוקסי

נתבו גלובלית, לפי ספק או לפי חיבור בודד.

  • גלובלי · לפי ספק · לפי חיבור
  • פרוקסי SOCKS5 ו-HTTP(S)
  • אינטגרציה עם marketplace של פרוקסי

בקרות TLS וטביעת אצבע של לקוח

התאמה ללקוחות ספקים נתמכים עד לרמת מאפייני תעבורה נבחרים.

  • תעבורה עם תמיכת JA3/JA4 דרך wreq-js
  • פרופילי לקוח ייעודיים לכל ספק
  • בקרות יציאה ב-IPv4 ו-IPv6

פרטי ו-local-first

מפתחות, שימוש והיסטוריה נשארים על המארח שבשליטתכם.

  • SQLite על הדיסק עם פרטי גישה מוצפנים ב-AES-256-GCM
  • לא נדרש חשבון OmniRoute
  • אירוח עצמי על תשתית לבחירתכם
רוסיהסיןאיראןקובהטורקיה

בידוד תקלות

בידוד תקלות של ספק, חיבור ומודל.

מפתח פגום לא אמור להשבית ספק. מודל מוגבל לא אמור להשבית חיבור.

מודל ⊂ חיבור ⊂ ספק
Circuit breaker לספקכשספק אינו תקין, ניתוב הקומבו מדלג עליו עד שבדיקת half-open מצליחה.
Cooldown לחיבורצננו מפתח או חשבון אחד בזמן שחיבורים אחרים ממשיכים לשרת.
נעילת מודלנעלו מודל אחד מוגבל-קצב או לא זמין בזמן ששאר המודלים בחיבור נשארים זמינים.

OmniRoute מבית Cheaper Inference

בחרו איך להריץ את OmniRoute.

ארחו את OmniRoute בעצמכם, או השתמשו ב-Cheaper Inference לשער מאורח מדורג לפי עלות.