OmniRoute / API rozhranie

Jeden endpoint, viac než chat.

Chat, embeddingy, reranking, obrázky, video, hudba, reč, OCR, súbory a dávky vo formáte požiadaviek, ktorým váš klient už hovorí.

Pozrieť formáty Vyskúšať Cheaper Inference Späť na prehľad

Formáty prenosu

Ponechajte si tvar požiadavky, ktorý váš klient už posiela.

Jeden proces prijíma niekoľko formátov, takže nástroj napísaný pre SDK jedného dodávateľa potrebuje len zmenu base URL a nič viac.

OpenAI

Chat Completions, embeddingy, obrázky, audio a súbory, bez zmeny.

/v1/chat/completions

Anthropic

Formát Messages vrátane počítania tokenov.

/v1/messages

OpenAI Responses

Tvar Responses API so zhutnením výstupu nástrojov.

/v1/responses

Gemini

generateContent a zoznam modelov Gemini.

/v1beta/models

Ollama

Priama náhrada pre nástroje, ktoré hovoria lokálnym Ollama API.

/v1/api/chat

Rerank and Jina

Reranking Cohere/Voyage plus klasifikácia a segmentácia Jina.

/v1/rerank

Endpointy

Viac než chat completions.

Zoskupené podľa toho, čo chcete urobiť, a nie podľa toho, ktorý poskytovateľ to práve obsluhuje.

Chat a správy

Tri tvary požiadaviek vedú k rovnakému routeru, takže klient si ponechá formát, ktorým už hovorí.

POST/v1/chat/completionsOpenAI Chat Completions, streamované alebo bufferované
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensSpočítajte tokeny pred ich utratením

Embeddingy, vyhľadávanie a ranking

Retrieval polovica RAG stacku za rovnakým endpointom a rovnakým kľúčom.

POST/v1/embeddingsTextové a multimodálne embeddingy
POST/v1/rerankReranking kompatibilný s Cohere a Voyage
POST/v1/searchAbstrakcia webového vyhľadávania naprieč poskytovateľmi
POST/v1/classifyKlasifikácia textu Jina
POST/v1/segmentSegmentácia obsahu Jina
POST/v1/web/fetchExtrakcia čitateľného obsahu stránky

Obrázky, video a hudba

Generovanie prechádza rovnakým fallbackom a účtovaním nákladov ako text.

POST/v1/images/generationsSyntéza obrázkov
POST/v1/images/editsÚpravy a inpainting
POST/v1/videos/generationsGenerovanie videa
POST/v1/music/generationsSyntéza hudby

Audio a dokumenty

Reč oboma smermi plus OCR pre skenované zdrojové materiály.

POST/v1/audio/transcriptionsReč na text
POST/v1/audio/translationsPrekladová transkripcia
POST/v1/audio/speechText na reč
POST/v1/ocrOCR dokumentov

Súbory a dávky

Nahrajte raz a potom spúšťajte prácu asynchrónne namiesto držania otvoreného pripojenia.

POST/v1/filesNahrať súbor
GET/v1/files/{id}/contentStreamovať obsah súboru späť
POST/v1/batchesVytvoriť dávkovú úlohu
GET/v1/batches/{id}Zisťovať stav dávky
POST/v1/batches/{id}/cancelZrušiť bežiacu dávku

Discovery a riadenie

Všetko, čo klient potrebuje na výber modelu a udržanie sa v rozpočte.

GET/v1/modelsKatalóg modelov zoskupený podľa poskytovateľa
GET/v1/quotas/checkVopred overiť zostávajúcu kvótu
POST/v1/moderationsModerovanie obsahu
GET/v1/wsUpgrade na WebSocket pre streamujúcich klientov

Agentové protokoly

MCP server s 110 nástrojmi a A2A agent card, obsluhované rovnakým procesom.

GET/api/mcp/streamMCP cez HTTP, 33 rozsahov
GET/api/mcp/sseMCP cez Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 agentových zručností
GET/.well-known/agent.jsonVerejná agent card

Hlavičky

Každá odpoveď hovorí, ako bola obslúžená.

Smerovanie nie je čierna skrinka: rozhodnutie, cena aj kompresia, ktoré odpoveď vytvorili, sa vracajú spolu s ňou.

Hlavičky odpovede

X-OmniRoute-DecisionStratégia, alias poskytovateľa a latencia, ktoré obslúžili požiadavku
X-OmniRoute-ProviderAlias poskytovateľa, na ktorý sa skutočne smerovalo
X-OmniRoute-ModelVyriešený identifikátor modelu
X-OmniRoute-Latency-MsLatencia upstreamu v milisekundách
X-OmniRoute-Tokens-InPočet vstupných tokenov
X-OmniRoute-Tokens-OutPočet výstupných tokenov
X-OmniRoute-Response-CostCena tejto odpovede v USD
X-OmniRoute-Cost-SavedUSD ušetrené pri zásahu cache
X-OmniRoute-CacheHIT alebo MISS pri nestreamovaných požiadavkách
X-OmniRoute-CompressionPoužitý režim kompresie a odkiaľ pochádza
X-OmniRoute-Fallback-AttemptsVykonané fallback skoky, ak nejaké boli
X-OmniRoute-Request-IdKorelačné id pre log požiadaviek

Hlavičky požiadavky

x-omniroute-compressionPrepísať profil kompresie pre jednu požiadavku
X-OmniRoute-No-CacheObísť sémantickú cache
x-omniroute-no-memoryPreskočiť vkladanie pamäte a zručností
X-Session-IdKľúč afinity relácie a priradenia nákladov
Idempotency-KeyDeduplikovať opakovanú požiadavku

Prečítať referenciu API