OmniRoute / Mulai cepat dan deployment

Jalankan OmniRoute di tempat yang Anda kendalikan.

Instal paketnya, jalankan API lokal dan pilih metode deployment yang didukung.

Mulai cepat

Instal, jalankan dan hubungkan.

Instal paketnya, jalankan gateway, lalu arahkan klien apa pun yang kompatibel dengan OpenAI ke port 20128.

Step 1: Instal

Instal paket npm omniroute secara global.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Jalankan

Jalankan API dan dasbor bersamaan di port 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Hubungkan tool Anda

Gunakan http://localhost:20128/v1; rute auto tanpa key langsung bekerja pada instalasi baru.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute dari Cheaper Inference

Pilih cara Anda menjalankan OmniRoute.

Host OmniRoute sendiri, atau gunakan Cheaper Inference untuk gateway hosted yang diurutkan berdasarkan biaya.