OmniRoute / Маршрутизиране и контрол

Изберете как се движи всяка заявка.

Разгледайте стратегиите за маршрутизиране, отчитането на безплатните планове, компресията, изолацията на откази и мрежовите контроли.

Разгледайте маршрутизирането Опитайте Cheaper Inference Назад към общия преглед

Стратегии за маршрутизиране

Изберете `auto` маршрут или изградете свой.

Използвайте готов режим или комбинирайте 19 стратегии около целта, която е важна за вас.

Модел · fallback е включенautoBalanced default

OpenAI-съвместима заявка

curl http://localhost:20128/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"auto","messages":[{"role":"user","content":"Write a TypeScript retry helper."}]}'

Изчерпване на абонаментната квота

Използвайте квотата, която вече имате, преди да докоснете платените API.

priority · fill-first

Разпределяне на товара

Балансирайте трафика между ключове и акаунти, за да намалите натиска от rate limits.

weighted · round-robin · p2c · least-used · headroom

Най-евтиното първо

Маршрутизирайте към най-евтината допустима цел.

cost-optimized

Според контекста

Дръжте дългите контексти на модели, в които се вписват, и препращайте при нужда.

context-relay · context-optimized · cache-optimized

Случайно

Разпределяйте допустимия трафик между целите.

random · strict-random

Адаптивно оценяване

Използвайте оценяване по 15 фактора, последна работеща цел и прозорци, съобразени с нулирането.

reset-window · reset-aware · lkgp · auto · fusion · pipeline

Отчитане на безплатните планове

Приблизително 1.51B публикувани токени всеки месец.

455 записа в каталога се свеждат до 40 периодични пула; само публикуваните положителни бюджети влизат в общата цифра.

1.51B

Отчитането без дублиране в пула пречи споделените квоти да се броят повече от веднъж. Доставчиците без лимит остават видими, без да надуват общия брой токени. Checked 2026-08-30.

View the calculation

Доставчици с периодично или безключово безплатно ниво завинаги56

Mistral1B/month
LLM7150M/month
Nara150M/month
Gemini CLI · forever60M/month
Kiro50 credits/month
Qoder · foreverFree catalog
LongCat · forever50M/day
Cerebras1M/day
NVIDIA NIM~40 RPM
Pollinations · foreverNo key
Cloudflare Workers AI · foreverDaily neurons
OpenCode Free · foreverNo-auth catalog

Компресия на контекста

Намалете допустимите токени с 15–95%.

Изходът от инструменти, повтарящият се контекст и раздутите структурирани данни могат да се компресират, преди да стигнат до модела.

Illustrative Ultra profile example from the audited documentation.

Before69 tokens

The function should iterate over the list of items, and for each item, it should check whether the value is greater than zero, and if so, add it to the running total.

After19 tokens

sum all list items where value > 0

Composable pipeline

Session-Dedup
Премахва съдържание, вече изпратено по-рано в сесията.
CCR
Архивира големи блокове и ги възстановява при поискване.
Lite
Прилага консервативно почистване без загуби.
RTK
Филтрира и дедуплицира изхода от команди и инструменти.
Responses Tool Output
Компактира tool payload-ите на Responses API.
Headroom
Прилага обратимо компактиране на таблични и структурирани данни.
Relevance
Запазва изреченията, най-релевантни за последната заявка.
Caveman
Използва кондензиране на прозата по правила.
Aggressive
Прилага по-силно конфигурирано подрязване.
LLMLingua-2
Използва безопасно за код семантично подрязване в изолиран worker.
Ultra
Комбинира етапи с високи спестявания и защити за запазване.
OmniGlyph
Кодира компактно допустимите повтарящи се структури.

Profiles

Публикуван диапазон на профила~30%x-omniroute-compression: standard

Controls and output styles

Наименувани профили и активен селектор
Визуално Compression Studio
Anthropic Context Editing
Адаптивен регулатор на бюджета за контекст
Хедър \
за всяка заявка
Офлайн eval harness
Автоматично задействане при праг на токени
Terse prose
Less code (YAGNI)
Terse CJK 文言

Приоритет на контрола: хедър на заявката → комбо → профил → адаптивна политика → по подразбиране.

Изолация на откази

Изолирайте откази на доставчик, връзка и модел.

Лош ключ не трябва да спира доставчик. Ограничен модел не трябва да спира връзка.

модел ⊂ връзка ⊂ доставчик

Circuit breaker на доставчикаКогато доставчик не е здрав, комбо маршрутизирането го пропуска, докато полуотворена проба не успее.

Cooldown на връзкатаОхладете един ключ или акаунт, докато съседните връзки продължават да обслужват.

Блокиране на моделБлокирайте един модел с rate limit или недостъпен, докато другите модели на връзката остават налични.

Контрол над мрежата и локалните данни

Мрежово маршрутизиране и контрол над локалните данни.

Прокси обхватите управляват мрежовото маршрутизиране, а local-first съхранението пази оперативните данни на вашата машина.

Три прокси обхвата

Маршрутизирайте глобално, по доставчик или по отделна връзка.

Глобално · по доставчик · по връзка
SOCKS5 и HTTP(S) прокси
Интеграция с прокси marketplace

Контрол на TLS и клиентския отпечатък

Съответствие с поддържаните клиенти на доставчиците до избрани транспортни характеристики.

Транспорт с JA3/JA4 поддръжка чрез wreq-js
Клиентски профили за всеки доставчик
Контрол на изходящия IPv4 и IPv6 трафик

Поверително и local-first

Ключове, употреба и история остават на хоста, който контролирате.

SQLite на диска с AES-256-GCM шифрирани креденшъли
Не е нужен OmniRoute акаунт
Self-hosting на инфраструктура по ваш избор

РусияКитайИранКубаТурция