OmniRouteby Cheaper Inference

OmniRoute / API 표면

하나의 엔드포인트, 채팅 그 이상.

채팅, 임베딩, 리랭킹, 이미지, 비디오, 음악, 음성, OCR, 파일, 배치를 클라이언트가 이미 사용하는 요청 포맷으로.

포맷 보기 Cheaper Inference 사용해 보기 개요로 돌아가기

와이어 포맷

클라이언트가 이미 보내는 요청 형식을 그대로.

하나의 프로세스가 여러 포맷을 받으므로, 특정 벤더 SDK로 만든 도구는 기본 URL만 바꾸면 됩니다.

OpenAI

Chat Completions, 임베딩, 이미지, 오디오, 파일을 그대로.

/v1/chat/completions

Anthropic

토큰 카운팅을 포함한 Messages 와이어 포맷.

/v1/messages

OpenAI Responses

도구 출력 압축을 갖춘 Responses API 형식.

/v1/responses

Gemini

generateContent와 Gemini 모델 목록.

/v1beta/models

Ollama

로컬 Ollama API를 사용하는 도구에 바로 연결.

/v1/api/chat

Rerank and Jina

Cohere/Voyage 리랭킹과 Jina 분류 및 세그먼트.

/v1/rerank

엔드포인트

채팅 완성 그 이상.

어떤 제공자가 처리하는지가 아니라 무엇을 하려는지에 따라 그룹화했습니다.

채팅과 메시지

세 가지 요청 형식이 같은 라우터에 도달하므로 클라이언트는 기존 포맷을 그대로 유지합니다.

  • POST/v1/chat/completionsOpenAI Chat Completions, 스트리밍 또는 버퍼링
  • POST/v1/messagesAnthropic Messages
  • POST/v1/responsesOpenAI Responses
  • POST/v1/messages/count_tokens사용 전에 토큰 수 계산

임베딩, 검색, 랭킹

RAG 스택의 검색 절반을 같은 엔드포인트와 같은 키 뒤에서.

  • POST/v1/embeddings텍스트 및 멀티모달 임베딩
  • POST/v1/rerankCohere 및 Voyage 호환 리랭킹
  • POST/v1/search제공자 전반의 웹 검색 추상화
  • POST/v1/classifyJina 텍스트 분류
  • POST/v1/segmentJina 콘텐츠 세그먼트
  • POST/v1/web/fetch읽기 가능한 페이지 추출

이미지, 비디오, 음악

생성도 텍스트와 같은 폴백과 비용 회계를 거쳐 라우팅됩니다.

  • POST/v1/images/generations이미지 생성
  • POST/v1/images/edits편집 및 인페인팅
  • POST/v1/videos/generations비디오 생성
  • POST/v1/music/generations음악 생성

오디오와 문서

양방향 음성 처리와 스캔 자료용 OCR.

  • POST/v1/audio/transcriptions음성을 텍스트로
  • POST/v1/audio/translations번역 전사
  • POST/v1/audio/speech텍스트를 음성으로
  • POST/v1/ocr문서 OCR

파일과 배치

한 번 업로드한 뒤 연결을 유지하지 않고 비동기로 작업을 실행합니다.

  • POST/v1/files파일 업로드
  • GET/v1/files/{id}/content파일 내용 스트리밍 반환
  • POST/v1/batches배치 작업 생성
  • GET/v1/batches/{id}배치 상태 폴링
  • POST/v1/batches/{id}/cancel실행 중인 배치 취소

검색과 제어

클라이언트가 모델을 선택하고 예산 안에 머무는 데 필요한 모든 것.

  • GET/v1/models제공자별로 그룹화된 모델 카탈로그
  • GET/v1/quotas/check남은 할당량 사전 검증
  • POST/v1/moderations콘텐츠 모더레이션
  • GET/v1/ws스트리밍 클라이언트용 WebSocket 업그레이드

에이전트 프로토콜

같은 프로세스가 제공하는 110개 도구의 MCP 서버와 A2A 에이전트 카드.

  • GET/api/mcp/streamHTTP 기반 MCP, 33개 스코프
  • GET/api/mcp/sseServer-Sent Events 기반 MCP
  • POST/a2aJSON-RPC 2.0, 6개 에이전트 스킬
  • GET/.well-known/agent.json공개 에이전트 카드

헤더

모든 응답이 처리 방식을 알려줍니다.

라우팅은 블랙박스가 아닙니다. 응답을 만든 결정, 비용, 압축이 모두 응답과 함께 돌아옵니다.

응답 헤더

  • X-OmniRoute-Decision요청을 처리한 전략, 제공자 별칭, 지연 시간
  • X-OmniRoute-Provider실제로 라우팅된 제공자 별칭
  • X-OmniRoute-Model확정된 모델 식별자
  • X-OmniRoute-Latency-Ms업스트림 지연 시간(밀리초)
  • X-OmniRoute-Tokens-In입력 토큰 수
  • X-OmniRoute-Tokens-Out출력 토큰 수
  • X-OmniRoute-Response-Cost이 응답의 USD 비용
  • X-OmniRoute-Cost-Saved캐시 히트로 절감한 USD
  • X-OmniRoute-Cache비스트리밍 요청의 HIT 또는 MISS
  • X-OmniRoute-Compression적용된 압축 모드와 그 출처
  • X-OmniRoute-Fallback-Attempts발생한 폴백 홉 수
  • X-OmniRoute-Request-Id요청 로그용 상관 ID

요청 헤더

  • x-omniroute-compression요청 하나에 대해 압축 프로필 재정의
  • X-OmniRoute-No-Cache시맨틱 캐시 우회
  • x-omniroute-no-memory메모리 및 스킬 주입 건너뛰기
  • X-Session-Id세션 어피니티 및 비용 귀속 키
  • Idempotency-Key재시도된 요청 중복 제거
API 레퍼런스 읽기 (새 탭에서 열림)

OmniRoute by Cheaper Inference

OmniRoute 실행 방식을 선택하세요.

OmniRoute를 셀프 호스팅하거나, 호스팅형 비용 순위 게이트웨이인 Cheaper Inference를 사용하세요.

Cheaper Inference 사용해 보기 OmniRoute 셀프 호스팅 (새 탭에서 열림) GitHub에서 보기 (새 탭에서 열림)