OmniRoute / Permukaan API

Satu endpoint, lebih daripada sembang.

Sembang, embedding, reranking, imej, video, muzik, pertuturan, OCR, fail dan batch, dalam format permintaan yang sudah digunakan klien anda.

Lihat format Cuba Cheaper Inference Kembali ke gambaran keseluruhan

Format wayar

Kekalkan bentuk permintaan yang sudah dihantar klien anda.

Satu proses menerima beberapa format, jadi alat yang dibina untuk SDK satu vendor hanya perlu menukar URL asas, tidak lebih.

OpenAI

Chat Completions, embedding, imej, audio dan fail, tanpa perubahan.

/v1/chat/completions

Anthropic

Format wayar Messages, termasuk pengiraan token.

/v1/messages

OpenAI Responses

Bentuk Responses API, dengan pemadatan output alat.

/v1/responses

Gemini

generateContent dan senarai model Gemini.

/v1beta/models

Ollama

Ganti terus untuk alat yang menggunakan API Ollama lokal.

/v1/api/chat

Rerank and Jina

Reranking Cohere/Voyage serta classify dan segment Jina.

/v1/rerank

Endpoint

Lebih daripada chat completions.

Dikumpulkan mengikut apa yang anda cuba lakukan, bukan mengikut pembekal yang melayannya.

Sembang dan mesej

Tiga bentuk permintaan sampai ke router yang sama, jadi klien mengekalkan format yang sudah digunakannya.

POST/v1/chat/completionsOpenAI Chat Completions, penstriman atau penimbal
POST/v1/messagesAnthropic Messages
POST/v1/responsesOpenAI Responses
POST/v1/messages/count_tokensKira token sebelum menggunakannya

Embedding, carian dan ranking

Bahagian retrieval tindanan RAG di sebalik endpoint yang sama dan kunci yang sama.

POST/v1/embeddingsEmbedding teks dan multimodal
POST/v1/rerankReranking serasi Cohere dan Voyage
POST/v1/searchAbstraksi carian web merentas pembekal
POST/v1/classifyPengelasan teks Jina
POST/v1/segmentPembahagian kandungan Jina
POST/v1/web/fetchPengekstrakan halaman boleh dibaca

Imej, video dan muzik

Penjanaan melalui fallback dan perakaunan kos yang sama seperti teks.

POST/v1/images/generationsSintesis imej
POST/v1/images/editsPenyuntingan dan inpainting
POST/v1/videos/generationsPenjanaan video
POST/v1/music/generationsSintesis muzik

Audio dan dokumen

Pertuturan dalam kedua-dua arah, serta OCR untuk bahan sumber yang diimbas.

POST/v1/audio/transcriptionsPertuturan ke teks
POST/v1/audio/translationsTranskripsi dengan terjemahan
POST/v1/audio/speechTeks ke pertuturan
POST/v1/ocrOCR dokumen

Fail dan batch

Muat naik sekali, kemudian jalankan kerja secara tak segerak dan bukannya membiarkan sambungan terbuka.

POST/v1/filesMuat naik fail
GET/v1/files/{id}/contentStrim kandungan fail kembali
POST/v1/batchesCipta kerja batch
GET/v1/batches/{id}Semak status batch
POST/v1/batches/{id}/cancelBatalkan batch yang sedang berjalan

Penemuan dan kawalan

Semua yang klien perlukan untuk memilih model dan kekal dalam bajet.

GET/v1/modelsKatalog model dikumpulkan mengikut pembekal
GET/v1/quotas/checkPrasahkan baki kuota
POST/v1/moderationsPenyederhanaan kandungan
GET/v1/wsNaik taraf WebSocket untuk klien penstriman

Protokol ejen

Pelayan MCP dengan 110 alat dan kad ejen A2A, dilayan oleh proses yang sama.

GET/api/mcp/streamMCP melalui HTTP, 33 skop
GET/api/mcp/sseMCP melalui Server-Sent Events
POST/a2aJSON-RPC 2.0, 6 kemahiran ejen
GET/.well-known/agent.jsonKad ejen awam

Header

Setiap respons menyatakan cara ia dilayan.

Penghalaan bukan kotak hitam: keputusan, kos dan pemampatan yang menghasilkan respons semuanya dikembalikan bersamanya.

Header respons

X-OmniRoute-DecisionStrategi, alias pembekal dan latensi yang melayan permintaan
X-OmniRoute-ProviderAlias pembekal yang sebenarnya dihalakan
X-OmniRoute-ModelPengecam model yang diselesaikan
X-OmniRoute-Latency-MsLatensi upstream dalam milisaat
X-OmniRoute-Tokens-InBilangan token input
X-OmniRoute-Tokens-OutBilangan token output
X-OmniRoute-Response-CostKos respons ini dalam USD
X-OmniRoute-Cost-SavedUSD dielakkan pada cache hit
X-OmniRoute-CacheHIT atau MISS pada permintaan bukan penstriman
X-OmniRoute-CompressionMod pemampatan yang digunakan dan sumbernya
X-OmniRoute-Fallback-AttemptsLompatan fallback yang diambil, jika ada
X-OmniRoute-Request-IdID korelasi untuk log permintaan

Header permintaan

x-omniroute-compressionGanti profil pemampatan untuk satu permintaan
X-OmniRoute-No-CachePintas cache semantik
x-omniroute-no-memoryLangkau suntikan memori dan kemahiran
X-Session-IdKunci afiniti sesi dan atribusi kos
Idempotency-KeyNyahpendua permintaan yang dicuba semula

Baca rujukan API