OmniRouteby Cheaper Inference

OmniRoute / Маршрутизація та керування

Вирішуйте, як рухається кожен запит.

Перегляньте стратегії маршрутизації, облік безкоштовних тарифів, стиснення, ізоляцію збоїв і мережевий контроль.

Переглянути маршрутизацію Спробувати Cheaper Inference Назад до огляду

Стратегії маршрутизації

Виберіть маршрут `auto` або зберіть власний.

Скористайтеся готовим режимом або поєднайте 19 стратегій навколо важливої для вас цілі.

Модель · fallback увімкненоautoBalanced default
OpenAI-сумісний запит
curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Routing alias auto selected. Objective: Balanced default. Fallback enabled.

Вичерпати квоту підписки

Використовуйте вже наявну квоту, перш ніж торкатися платних API.

priority · fill-first

Розподілити навантаження

Балансуйте трафік між ключами й акаунтами, щоб зменшити тиск rate limit.

weighted · round-robin · p2c · least-used · headroom

Спочатку найдешевше

Маршрутизація до найдешевшої прийнятної цілі.

cost-optimized

З урахуванням контексту

Тримайте довгі контексти на моделях, яким вони підходять, і передавайте далі за потреби.

context-relay · context-optimized · cache-optimized

Випадковий

Розподіл прийнятного трафіку між цілями.

random · strict-random

Адаптивна оцінка

Оцінка за 15 факторами, last-known-good і вікна з урахуванням скидання.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Облік безкоштовних тарифів

Приблизно 1.51B опублікованих токенів щомісяця.

455 записів каталогу зведено в 40 повторюваних пулів; у підсумок потрапляють лише опубліковані додатні бюджети.

1.51B

Облік без дублювання пулів не дає порахувати спільні квоти двічі. Провайдери без ліміту залишаються видимими, не завищуючи загальну кількість токенів. Checked 2026-08-30.

View the calculation (відкривається в новій вкладці)
Провайдери з повторюваними або безключовими назавжди безкоштовними лімітами56
  • Mistral1B/month
  • LLM7150M/month
  • Nara150M/month
  • Gemini CLI · forever60M/month
  • Kiro50 credits/month
  • Qoder · foreverFree catalog
  • LongCat · forever50M/day
  • Cerebras1M/day
  • NVIDIA NIM~40 RPM
  • Pollinations · foreverNo key
  • Cloudflare Workers AI · foreverDaily neurons
  • OpenCode Free · foreverNo-auth catalog

Стиснення контексту

Скорочуйте прийнятні токени на 15–95%.

Вивід інструментів, повторюваний контекст і роздуті структуровані дані можна стиснути до того, як вони дійдуть до моделі.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens
The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.
After19 tokens
sum all list items where value > 0

Composable pipeline

  1. Session-Dedup
    Відкидає вміст, уже надісланий раніше в сесії.
  2. CCR
    Архівує великі блоки та відновлює їх на вимогу.
  3. Lite
    Консервативне очищення без втрат.
  4. RTK
    Фільтрує та дедуплікує вивід команд і інструментів.
  5. Responses Tool Output
    Ущільнює payload інструментів Responses API.
  6. Headroom
    Оборотне ущільнення таблиць і структурованих даних.
  7. Relevance
    Зберігає речення, найбільш релевантні останньому запиту.
  8. Caveman
    Стискає прозу за правилами.
  9. Aggressive
    Застосовує сильніше налаштоване відсікання.
  10. LLMLingua-2
    Безпечне для коду семантичне відсікання в ізольованому воркері.
  11. Ultra
    Поєднує етапи з високою економією та захистом важливого вмісту.
  12. OmniGlyph
    Компактно кодує прийнятні повторювані структури.

Profiles

Опублікований діапазон профілю~30%x-omniroute-compression: standard

Вибрано стиснення Standard. Опублікований діапазон ~30%.

Controls and output styles

  • Іменовані профілі та активний селектор
  • Візуальна Compression Studio
  • Anthropic Context Editing
  • Адаптивний регулятор бюджету контексту
  • Заголовок \
  • для окремого запиту
  • Офлайн-стенд для evals
  • Автозапуск за порогом токенів
  • Terse prose
  • Less code (YAGNI)
  • Terse CJK 文言

Пріоритет керування: заголовок запиту → комбо → профіль → адаптивна політика → за замовчуванням.

Ізоляція збоїв

Ізолюйте збої провайдера, з'єднання та моделі.

Поганий ключ не має вбивати провайдера. Обмежена модель не має вбивати з'єднання.

модель ⊂ з'єднання ⊂ провайдер
Circuit breaker провайдераКоли провайдер несправний, маршрутизація комбо пропускає його, доки не пройде напіввідкрита перевірка.
Cooldown з'єднанняОхолодіть один ключ або акаунт, поки сусідні з'єднання продовжують обслуговувати запити.
Блокування моделіБлокує одну обмежену або недоступну модель, поки інші моделі на з'єднанні залишаються доступними.

Керування мережею та локальними даними

Керування мережевою маршрутизацією та локальними даними.

Області проксі керують мережевою маршрутизацією, а local-first сховище тримає операційні дані на вашій машині.

Три області проксі

Маршрутизуйте глобально, для окремого провайдера або для окремого з'єднання.

  • Глобально · для провайдера · для з'єднання
  • Проксі SOCKS5 і HTTP(S)
  • Інтеграція з маркетплейсом проксі

Керування відбитком TLS і клієнта

Відповідність підтримуваним клієнтам провайдерів аж до вибраних характеристик транспорту.

  • Транспорт з підтримкою JA3/JA4 через wreq-js
  • Профілі клієнтів для конкретних провайдерів
  • Керування вихідним трафіком IPv4 та IPv6

Приватно та local-first

Ключі, використання та історія залишаються на хості, який ви контролюєте.

  • SQLite на диску з обліковими даними, шифрованими AES-256-GCM
  • Акаунт OmniRoute не потрібен
  • Self-hosting на інфраструктурі на ваш вибір
РосіяКитайІранКубаТуреччина

OmniRoute від Cheaper Inference

Виберіть, як запускати OmniRoute.

Розгорніть OmniRoute самостійно або використовуйте Cheaper Inference, хостований шлюз із ранжуванням за вартістю.

Спробувати Cheaper Inference Розгорнути OmniRoute самостійно (відкривається в новій вкладці) Відкрити на GitHub (відкривається в новій вкладці)