OmniRouteby Cheaper Inference

OmniRoute / Безпека та контроль даних

Механізми, чий код можна прочитати.

Guardrails на шляху запиту, керування мережею та ідентичністю, шифровані локальні облікові дані й те, що лишається придатним для аудиту.

Переглянути механізми Спробувати Cheaper Inference Назад до огляду

Механізми

Що перевіряє шлюз і де.

Кожен механізм нижче працює в процесі, який хостите ви. Жоден із них не залежить від акаунта Cheaper Inference.

На шляху запиту

Перевірки, що виконуються до того, як промпт покине машину, і до того, як відповідь дійде до клієнта.

  • Захист від prompt injection на кожному маршрутизованому запиті
  • Опційне маскування облікових даних, що приховує витеклі ключі в обох напрямках
  • Опційне приховування PII
  • Нормалізовані фільтри безпеки, що не залежать від політики одного провайдера
  • Guardrails для зображень на вході

Мережа та ідентичність

Керування тим, як запити покидають хост і як вони виглядають у мережі.

  • Області проксі: глобально, для провайдера, для з'єднання
  • Проксі SOCKS5 і HTTP(S)
  • TLS-транспорт з підтримкою JA3/JA4 і профілями клієнтів для конкретних провайдерів
  • Вибір вихідного трафіку IPv4 та IPv6
  • Захист від SSRF, що блокує приватні діапазони адрес у вихідних запитах
  • Білі та чорні списки IP у дашборді

Облікові дані та локальні дані

Ключі, історія та використання залишаються на вашому хості, у базі даних, якою володієте ви.

  • Облікові дані, шифровані AES-256-GCM, у локальному SQLite
  • API-ключі з обмеженою областю за моделями та провайдерами
  • Ліміти витрат у USD і бюджети токенів для кожного ключа
  • Маскування email OAuth-акаунта, увімкнене за замовчуванням
  • Для запуску шлюзу акаунт OmniRoute не потрібен

Експлуатація та аудит

Що можна відновити заднім числом і кому це було дозволено робити.

  • Журнал адміністративного аудиту з фільтрами за дією, виконавцем і ціллю
  • Журнали запитів з фільтрами за провайдером, моделлю, акаунтом і ключем
  • Опційний вхід через OIDC, вхід за паролем завжди доступний
  • Адаптивний допуск, що ставить важкі запити в чергу замість відмови
  • Експорт та імпорт бази даних для резервного копіювання й міграції

Мережевий доступ

Керування мережевою маршрутизацією та локальними даними.

Області проксі керують мережевою маршрутизацією, а local-first сховище тримає операційні дані на вашій машині.

Три області проксі

Маршрутизуйте глобально, для окремого провайдера або для окремого з'єднання.

  • Глобально · для провайдера · для з'єднання
  • Проксі SOCKS5 і HTTP(S)
  • Інтеграція з маркетплейсом проксі

Керування відбитком TLS і клієнта

Відповідність підтримуваним клієнтам провайдерів аж до вибраних характеристик транспорту.

  • Транспорт з підтримкою JA3/JA4 через wreq-js
  • Профілі клієнтів для конкретних провайдерів
  • Керування вихідним трафіком IPv4 та IPv6

Приватно та local-first

Ключі, використання та історія залишаються на хості, який ви контролюєте.

  • SQLite на диску з обліковими даними, шифрованими AES-256-GCM
  • Акаунт OmniRoute не потрібен
  • Self-hosting на інфраструктурі на ваш вибір
РосіяКитайІранКубаТуреччина

Ізоляція збоїв

Ізолюйте збої провайдера, з'єднання та моделі.

Поганий ключ не має вбивати провайдера. Обмежена модель не має вбивати з'єднання.

модель ⊂ з'єднання ⊂ провайдер
Circuit breaker провайдераКоли провайдер несправний, маршрутизація комбо пропускає його, доки не пройде напіввідкрита перевірка.
Cooldown з'єднанняОхолодіть один ключ або акаунт, поки сусідні з'єднання продовжують обслуговувати запити.
Блокування моделіБлокує одну обмежену або недоступну модель, поки інші моделі на з'єднанні залишаються доступними.

OmniRoute від Cheaper Inference

Виберіть, як запускати OmniRoute.

Розгорніть OmniRoute самостійно або використовуйте Cheaper Inference, хостований шлюз із ранжуванням за вартістю.

Спробувати Cheaper Inference Розгорнути OmniRoute самостійно (відкривається в новій вкладці) Відкрити на GitHub (відкривається в новій вкладці)