OmniRoute / 빠른 시작 및 배포

내가 제어하는 곳에서 OmniRoute를 실행하세요.

패키지를 설치하고 로컬 API를 시작한 뒤 지원되는 배포 방법을 선택하세요.

빠른 시작

설치, 실행, 연결.

패키지를 설치하고 게이트웨이를 실행한 뒤, OpenAI 호환 클라이언트를 20128 포트로 연결하세요.

Step 1: 설치

omniroute npm 패키지를 전역으로 설치합니다.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: 실행

20128 포트에서 API와 대시보드를 함께 실행합니다.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: 도구 연결

http://localhost:20128/v1를 사용하세요. 키 없는 auto 경로는 새 설치에서 바로 동작합니다.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute by Cheaper Inference

OmniRoute 실행 방식을 선택하세요.

OmniRoute를 셀프 호스팅하거나, 호스팅형 비용 순위 게이트웨이인 Cheaper Inference를 사용하세요.