OmniRoute / API surface

Isang endpoint, higit pa sa chat.

Chat, embeddings, reranking, images, video, music, speech, OCR, files at batches, sa request format na ginagamit na ng client mo.

Tingnan ang mga format Subukan ang Cheaper Inference Bumalik sa overview

Mga wire format

Panatilihin ang request shape na ipinapadala na ng client mo.

Tumatanggap ng ilang format ang isang process, kaya base URL lang ang kailangang baguhin ng tool na binuo sa SDK ng isang vendor.

OpenAI

Chat Completions, embeddings, images, audio at files, walang pagbabago.

/v1/chat/completions

Anthropic

Ang Messages wire format, kasama ang token counting.

/v1/messages

OpenAI Responses

Ang hugis ng Responses API, may tool-output compaction.

/v1/responses

Gemini

generateContent at ang listahan ng Gemini model.

/v1beta/models

Ollama

Drop-in para sa mga tool na gumagamit ng local Ollama API.

/v1/api/chat

Rerank and Jina

Cohere/Voyage reranking kasama ang Jina classify at segment.

/v1/rerank

Mga endpoint

Higit pa sa chat completions.

Naka-grupo ayon sa gusto mong gawin sa halip na ayon sa provider na nagse-serve nito.

Chat at messages

Tatlong request shape ang umaabot sa parehong router, kaya napananatili ng client ang format na ginagamit na nito.

POST/v1/chat/completionsOpenAI Chat Completions, streaming o buffered
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensBilangin ang token bago gastusin

Embeddings, search at ranking

Ang retrieval na bahagi ng RAG stack sa likod ng parehong endpoint at parehong key.

POST/v1/embeddingsText at multimodal na embedding
POST/v1/rerankCohere at Voyage compatible na reranking
POST/v1/searchWeb search abstraction sa iba't ibang provider
POST/v1/classifyJina text classification
POST/v1/segmentJina content segmentation
POST/v1/web/fetchReadable na page extraction

Image, video at music

Dumadaan ang generation sa parehong fallback at cost accounting gaya ng text.

POST/v1/images/generationsImage synthesis
POST/v1/images/editsEditing at inpainting
POST/v1/videos/generationsVideo generation
POST/v1/music/generationsMusic synthesis

Audio at mga dokumento

Speech sa magkabilang direksyon, kasama ang OCR para sa mga na-scan na source material.

POST/v1/audio/transcriptionsSpeech to text
POST/v1/audio/translationsTranscription na may translation
POST/v1/audio/speechText to speech
POST/v1/ocrDocument OCR

Files at batches

Mag-upload nang isang beses, pagkatapos patakbuhin ang trabaho nang asynchronous sa halip na panatilihing bukas ang connection.

POST/v1/filesMag-upload ng file
GET/v1/files/{id}/contentI-stream pabalik ang laman ng file
POST/v1/batchesGumawa ng batch job
GET/v1/batches/{id}I-poll ang batch status
POST/v1/batches/{id}/cancelKanselahin ang tumatakbong batch

Discovery at control

Lahat ng kailangan ng client para pumili ng model at manatili sa loob ng budget.

GET/v1/modelsModel catalog na naka-grupo ayon sa provider
GET/v1/quotas/checkI-pre-validate ang natitirang quota
POST/v1/moderationsContent moderation
GET/v1/wsWebSocket upgrade para sa mga streaming client

Mga agent protocol

Isang MCP server na may 110 tool at isang A2A agent card, ise-serve ng parehong process.

GET/api/mcp/streamMCP sa HTTP, 33 scope
GET/api/mcp/sseMCP sa Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 agent skill
GET/.well-known/agent.jsonPampublikong agent card

Mga header

Sinasabi ng bawat response kung paano ito na-serve.

Hindi black box ang routing: ang desisyon, ang gastos at ang compression na gumawa ng response ay kasamang bumabalik nito.

Mga response header

X-OmniRoute-DecisionStrategy, provider alias at latency na nag-serve sa request
X-OmniRoute-ProviderAng provider alias na aktwal na na-route
X-OmniRoute-ModelAng na-resolve na model identifier
X-OmniRoute-Latency-MsUpstream latency sa millisecond
X-OmniRoute-Tokens-InBilang ng input token
X-OmniRoute-Tokens-OutBilang ng output token
X-OmniRoute-Response-CostGastos sa USD ng response na ito
X-OmniRoute-Cost-SavedUSD na naiwasan sa cache hit
X-OmniRoute-CacheHIT o MISS sa mga non-streaming request
X-OmniRoute-CompressionInilapat na compression mode at kung saan ito nagmula
X-OmniRoute-Fallback-AttemptsMga fallback hop na ginawa, kung mayroon
X-OmniRoute-Request-IdCorrelation id para sa request log

Mga request header

x-omniroute-compressionI-override ang compression profile para sa isang request
X-OmniRoute-No-CacheLaktawan ang semantic cache
x-omniroute-no-memoryLaktawan ang memory at skills injection
X-Session-IdSession affinity at cost attribution key
Idempotency-KeyI-deduplicate ang na-retry na request

Basahin ang API reference