OmniRoute / API-flate

Ett endepunkt, mer enn chat.

Chat, embeddings, reranking, bilder, video, musikk, tale, OCR, filer og batcher, i forespørselsformatet klienten din allerede snakker.

Se formatene Prøv Cheaper Inference Tilbake til oversikten

Wire-formater

Behold forespørselsformen klienten din allerede sender.

Én prosess tar imot flere formater, så et verktøy bygget mot én leverandørs SDK trenger bare en ny base-URL og ingenting annet.

OpenAI

Chat Completions, embeddings, bilder, lyd og filer, uendret.

/v1/chat/completions

Anthropic

Messages-wireformatet, inkludert tokentelling.

/v1/messages

OpenAI Responses

Responses API-formen, med komprimering av verktøyutdata.

/v1/responses

Gemini

generateContent og Gemini-modellisten.

/v1beta/models

Ollama

Drop-in for verktøy som snakker det lokale Ollama-API-et.

/v1/api/chat

Rerank and Jina

Cohere/Voyage-reranking pluss Jina classify og segment.

/v1/rerank

Endepunkter

Mer enn chat completions.

Gruppert etter hva du prøver å gjøre, ikke etter hvilken leverandør som tilfeldigvis leverer det.

Chat og meldinger

Tre forespørselsformer når samme ruter, så en klient beholder formatet den allerede snakker.

POST/v1/chat/completionsOpenAI Chat Completions, strømmet eller bufret
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensTell tokens før du bruker dem

Embeddings, søk og rangering

Gjenfinningshalvdelen av en RAG-stack bak samme endepunkt og samme nøkkel.

POST/v1/embeddingsTekst- og multimodale embeddings
POST/v1/rerankCohere- og Voyage-kompatibel reranking
POST/v1/searchNettsøksabstraksjon på tvers av leverandører
POST/v1/classifyJina tekstklassifisering
POST/v1/segmentJina innholdssegmentering
POST/v1/web/fetchLesbar sideekstraksjon

Bilde, video og musikk

Generering rutes gjennom samme fallback og kostnadsregnskap som tekst.

POST/v1/images/generationsBildesyntese
POST/v1/images/editsRedigering og inpainting
POST/v1/videos/generationsVideogenerering
POST/v1/music/generationsMusikksyntese

Lyd og dokumenter

Tale i begge retninger, pluss OCR for skannet kildemateriale.

POST/v1/audio/transcriptionsTale til tekst
POST/v1/audio/translationsOversettende transkripsjon
POST/v1/audio/speechTekst til tale
POST/v1/ocrDokument-OCR

Filer og batcher

Last opp én gang, og kjør så arbeidet asynkront i stedet for å holde en tilkobling åpen.

POST/v1/filesLast opp en fil
GET/v1/files/{id}/contentStrøm filinnhold tilbake
POST/v1/batchesOpprett en batchjobb
GET/v1/batches/{id}Sjekk batchstatus
POST/v1/batches/{id}/cancelAvbryt en kjørende batch

Oppdagelse og kontroll

Alt en klient trenger for å velge en modell og holde seg innenfor et budsjett.

GET/v1/modelsModellkatalog gruppert per leverandør
GET/v1/quotas/checkForhåndsvalider gjenværende kvote
POST/v1/moderationsInnholdsmoderering
GET/v1/wsWebSocket-oppgradering for strømmende klienter

Agentprotokoller

En MCP-server med 110 verktøy og et A2A-agentkort, servert av samme prosess.

GET/api/mcp/streamMCP over HTTP, 33 omfang
GET/api/mcp/sseMCP over Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 agentferdigheter
GET/.well-known/agent.jsonOffentlig agentkort

Headere

Hvert svar forteller hvordan det ble servert.

Ruting er ingen svart boks: beslutningen, kostnaden og komprimeringen som produserte et svar følger med tilbake.

Svarheadere

X-OmniRoute-DecisionStrategi, leverandøralias og latens som betjente forespørselen
X-OmniRoute-ProviderLeverandøraliaset det faktisk ble rutet til
X-OmniRoute-ModelDen oppløste modellidentifikatoren
X-OmniRoute-Latency-MsOppstrøms latens i millisekunder
X-OmniRoute-Tokens-InAntall input-tokens
X-OmniRoute-Tokens-OutAntall output-tokens
X-OmniRoute-Response-CostKostnad i USD for dette svaret
X-OmniRoute-Cost-SavedUSD unngått ved cache-treff
X-OmniRoute-CacheHIT eller MISS på ikke-strømmende forespørsler
X-OmniRoute-CompressionAnvendt komprimeringsmodus og hvor den kom fra
X-OmniRoute-Fallback-AttemptsFallback-hopp som ble tatt, når det var noen
X-OmniRoute-Request-IdKorrelasjons-id for forespørselsloggen

Forespørselsheadere

x-omniroute-compressionOverstyr komprimeringsprofilen for én forespørsel
X-OmniRoute-No-CacheOmgå den semantiske cachen
x-omniroute-no-memoryHopp over injeksjon av minne og ferdigheter
X-Session-IdNøkkel for sesjonstilhørighet og kostnadsattribusjon
Idempotency-KeyDedupliser en forespørsel som prøves igjen

Les API-referansen