OmniRoute / API-flade

Ét endpoint, mere end chat.

Chat, embeddings, reranking, billeder, video, musik, tale, OCR, filer og batches, i det request-format din klient allerede taler.

Se formaterne Prøv Cheaper Inference Tilbage til oversigten

Wireformater

Behold det request-format, din klient allerede sender.

Én proces accepterer flere formater, så et værktøj bygget mod én leverandørs SDK kun behøver en ny base-URL og intet andet.

OpenAI

Chat Completions, embeddings, billeder, lyd og filer, uændret.

/v1/chat/completions

Anthropic

Messages-wireformatet, inklusive tokenoptælling.

/v1/messages

OpenAI Responses

Responses API-formatet, med komprimering af værktøjsoutput.

/v1/responses

Gemini

generateContent og Gemini-modellisten.

/v1beta/models

Ollama

Drop-in til værktøjer, der taler den lokale Ollama API.

/v1/api/chat

Rerank and Jina

Cohere/Voyage-reranking plus Jina classify og segment.

/v1/rerank

Endpoints

Mere end chat completions.

Grupperet efter, hvad du prøver at gøre, frem for hvilken udbyder der tilfældigvis leverer det.

Chat og messages

Tre request-formater rammer den samme router, så en klient beholder det format, den allerede taler.

POST/v1/chat/completionsOpenAI Chat Completions, streaming eller bufret
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensTæl tokens, før du bruger dem

Embeddings, søgning og rangering

Retrieval-halvdelen af en RAG-stack bag samme endpoint og samme nøgle.

POST/v1/embeddingsTekst- og multimodale embeddings
POST/v1/rerankCohere- og Voyage-kompatibel reranking
POST/v1/searchWebsøgningsabstraktion på tværs af udbydere
POST/v1/classifyJina-tekstklassificering
POST/v1/segmentJina-indholdssegmentering
POST/v1/web/fetchUdtræk af læsbare sider

Billede, video og musik

Generering routes gennem samme fallback og omkostningsregnskab som tekst.

POST/v1/images/generationsBilledsyntese
POST/v1/images/editsRedigering og inpainting
POST/v1/videos/generationsVideogenerering
POST/v1/music/generationsMusiksyntese

Lyd og dokumenter

Tale i begge retninger, plus OCR til scannet kildemateriale.

POST/v1/audio/transcriptionsTale til tekst
POST/v1/audio/translationsOversættende transskription
POST/v1/audio/speechTekst til tale
POST/v1/ocrDokument-OCR

Filer og batches

Upload én gang, og kør arbejdet asynkront i stedet for at holde en forbindelse åben.

POST/v1/filesUpload en fil
GET/v1/files/{id}/contentStream filindhold tilbage
POST/v1/batchesOpret et batchjob
GET/v1/batches/{id}Poll batchstatus
POST/v1/batches/{id}/cancelAfbryd en kørende batch

Discovery og kontrol

Alt, hvad en klient skal bruge for at vælge en model og holde sig inden for et budget.

GET/v1/modelsModelkatalog grupperet efter udbyder
GET/v1/quotas/checkForhåndsvalidér resterende kvote
POST/v1/moderationsIndholdsmoderation
GET/v1/wsWebSocket-opgradering til streaming-klienter

Agentprotokoller

En MCP-server med 110 værktøjer og et A2A-agentkort, serveret af samme proces.

GET/api/mcp/streamMCP over HTTP, 33 scopes
GET/api/mcp/sseMCP over Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 agent-skills
GET/.well-known/agent.jsonOffentligt agentkort

Headers

Hvert svar fortæller, hvordan det blev leveret.

Routing er ikke en sort boks: beslutningen, omkostningen og komprimeringen bag et svar følger alle med tilbage.

Svarheaders

X-OmniRoute-DecisionStrategi, udbyderalias og latenstid, der betjente requesten
X-OmniRoute-ProviderDet udbyderalias, der faktisk blev routet til
X-OmniRoute-ModelDen opløste modelidentifikator
X-OmniRoute-Latency-MsUpstream-latenstid i millisekunder
X-OmniRoute-Tokens-InAntal input-tokens
X-OmniRoute-Tokens-OutAntal output-tokens
X-OmniRoute-Response-CostOmkostning i USD for dette svar
X-OmniRoute-Cost-SavedUSD undgået ved et cache-hit
X-OmniRoute-CacheHIT eller MISS på ikke-streamende requests
X-OmniRoute-CompressionAnvendt komprimeringstilstand, og hvor den kom fra
X-OmniRoute-Fallback-AttemptsUdførte fallback-hop, når der var nogen
X-OmniRoute-Request-IdKorrelations-id til request-loggen

Request-headers

x-omniroute-compressionOverstyr komprimeringsprofilen for én request
X-OmniRoute-No-CacheSpring den semantiske cache over
x-omniroute-no-memorySpring hukommelses- og skills-injektion over
X-Session-IdNøgle til sessionsaffinitet og omkostningsfordeling
Idempotency-KeyDeduplikér en gentaget request

Læs API-referencen