OmniRoute / Hurtigstart og udrulning

Kør OmniRoute, hvor du har kontrollen.

Installer pakken, start den lokale API, og vælg en understøttet udrulningsmetode.

Hurtigstart

Installer, kør og forbind.

Installer pakken, start gatewayen, og peg derefter en vilkårlig OpenAI-kompatibel klient på port 20128.

Step 1: Installer

Installer npm-pakken omniroute globalt.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Kør

Start API og dashboard sammen på port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Forbind dit værktøj

Brug http://localhost:20128/v1; den nøglefri auto-rute virker på en frisk installation.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute fra Cheaper Inference

Vælg, hvordan du kører OmniRoute.

Selvhost OmniRoute, eller brug Cheaper Inference for en hostet, omkostningsrangeret gateway.