OmniRoute / Маршрутизация и контроль

Выберите, как движется каждый запрос.

Стратегии маршрутизации, учёт бесплатных тарифов, сжатие, изоляция сбоев и сетевые настройки.

Смотреть маршрутизацию Попробовать Cheaper Inference Назад к обзору

Стратегии маршрутизации

Выберите маршрут `auto` или соберите свой.

Используйте готовый режим или комбинируйте 19 стратегий вокруг важной для вас цели.

Модель · fallback включёнautoBalanced default

OpenAI-совместимый запрос

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Расходовать квоту подписки

Используйте уже доступную квоту, прежде чем переходить к платным API.

priority · fill-first

Распределить нагрузку

Балансируйте трафик между ключами и аккаунтами, чтобы снизить давление rate limit.

weighted · round-robin · p2c · least-used · headroom

Сначала дешёвое

Направлять на самую дешёвую подходящую цель.

cost-optimized

С учётом контекста

Держите длинные контексты на подходящих моделях и переключайтесь при необходимости.

context-relay · context-optimized · cache-optimized

Случайный выбор

Распределять подходящий трафик между целями.

random · strict-random

Адаптивная оценка

Оценка по 15 факторам, последняя рабочая цель и окна с учётом сброса лимитов.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Учёт бесплатных тарифов

Около 1.51B опубликованных токенов каждый месяц.

455 записей каталога дедуплицированы в 40 возобновляемых пулов; в итоговую цифру попадают только опубликованные положительные бюджеты.

1.51B

Учёт с дедупликацией пулов не позволяет посчитать общие квоты дважды. Провайдеры без лимита остаются видимыми, не завышая общее число токенов. Checked 2026-08-30.

View the calculation

Постоянно бесплатные провайдеры с возобновляемой квотой или без ключа56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Сжатие контекста

Сократите подходящие токены на 15–95%.

Вывод инструментов, повторяющийся контекст и раздутые структурированные данные можно сжать до того, как они попадут в модель.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Убирает контент, уже отправленный ранее в сессии.
CCR
Архивирует крупные блоки и восстанавливает их по запросу.
Lite
Консервативная очистка без потерь.
RTK
Фильтрует и дедуплицирует вывод команд и инструментов.
Responses Tool Output
Уплотняет tool-payload в Responses API.
Headroom
Обратимое уплотнение табличных и структурированных данных.
Relevance
Оставляет предложения, наиболее релевантные последнему запросу.
Caveman
Сжатие прозы по правилам.
Aggressive
Более жёсткая настраиваемая обрезка.
LLMLingua-2
Безопасная для кода семантическая обрезка в изолированном воркере.
Ultra
Сочетает стадии с высокой экономией и защиту от потерь.
OmniGlyph
Компактно кодирует подходящие повторяющиеся структуры.

Profiles

Опубликованный диапазон профиля~30%x-omniroute-compression: standard

Controls and output styles

Именованные профили и активный селектор
Визуальная Compression Studio
Anthropic Context Editing
Адаптивный регулятор бюджета контекста
Заголовок \
на запрос
Офлайн-стенд для evals
Автозапуск по порогу токенов
Terse prose
Less code (YAGNI)
Terse CJK 文言

Приоритет настроек: заголовок запроса → комбо → профиль → адаптивная политика → по умолчанию.

Изоляция сбоев

Изоляция сбоев провайдера, подключения и модели.

Плохой ключ не должен убивать провайдера. Ограниченная модель не должна убивать подключение.

модель ⊂ подключение ⊂ провайдер

Circuit breaker провайдераПока провайдер нездоров, комбо-маршрутизация пропускает его, пока полуоткрытая проверка не пройдёт успешно.

Cooldown подключенияОдин ключ или аккаунт уходит в cooldown, а соседние подключения продолжают работать.

Блокировка моделиБлокирует одну модель с rate limit или недоступную, пока остальные модели на подключении остаются доступны.

Сеть и локальные данные

Сетевая маршрутизация и контроль локальных данных.

Области прокси управляют сетевой маршрутизацией, а локальное хранение держит операционные данные на вашей машине.

Три области прокси

Маршрутизация глобально, по провайдеру или по отдельному подключению.

Глобально · по провайдеру · по подключению
Прокси SOCKS5 и HTTP(S)
Интеграция с маркетплейсом прокси

Управление TLS и отпечатком клиента

Имитация поддерживаемых клиентов провайдеров вплоть до выбранных характеристик транспорта.

Транспорт с поддержкой JA3/JA4 через wreq-js
Профили клиентов для конкретных провайдеров
Управление исходящим трафиком IPv4 и IPv6

Приватно и локально

Ключи, статистика и история остаются на хосте под вашим контролем.

SQLite на диске с шифрованием учётных данных AES-256-GCM
Аккаунт OmniRoute не требуется
Self-hosting на инфраструктуре по вашему выбору

РоссияКитайИранКубаТурция