OmniRoute / Hurtigstart og distribusjon

Kjør OmniRoute der du har kontrollen.

Installer pakken, start det lokale API-et og velg en støttet distribusjonsmetode.

Hurtigstart

Installer, kjør og koble til.

Installer pakken, start gatewayen og pek en hvilken som helst OpenAI-kompatibel klient mot port 20128.

Step 1: Installer

Installer npm-pakken omniroute globalt.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Kjør

Start API og dashbord sammen på port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Koble til verktøyet ditt

Bruk http://localhost:20128/v1; den nøkkelløse auto-ruten fungerer på en fersk installasjon.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute fra Cheaper Inference

Velg hvordan du kjører OmniRoute.

Selvhost OmniRoute, eller bruk Cheaper Inference for en hostet, kostnadsrangert gateway.