OmniRoute / Pika-aloitus ja käyttöönotto

Aja OmniRoutea siellä, missä hallitset sitä.

Asenna paketti, käynnistä paikallinen API ja valitse tuettu käyttöönottotapa.

Pika-aloitus

Asenna, käynnistä ja yhdistä.

Asenna paketti, käynnistä yhdyskäytävä ja osoita mikä tahansa OpenAI-yhteensopiva asiakasohjelma porttiin 20128.

Step 1: Asenna

Asenna omniroute npm-paketti globaalisti.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Käynnistä

Käynnistä API ja hallintapaneeli yhdessä portissa 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Yhdistä työkalusi

Käytä osoitetta http://localhost:20128/v1; avaimeton auto-reitti toimii heti tuoreessa asennuksessa.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute by Cheaper Inference

Valitse, miten ajat OmniRoutea.

Isännöi OmniRoute itse tai käytä Cheaper Inferencea, hostattua kustannusjärjestettyä yhdyskäytävää.