OmniRoute / Início rápido e implantação

Rode o OmniRoute onde você tem o controle.

Instale o pacote, inicie a API local e escolha um método de implantação suportado.

Início rápido

Instale, execute e conecte.

Instale o pacote, inicie o gateway e aponte qualquer cliente compatível com OpenAI para a porta 20128.

Step 1: Instalar

Instale o pacote npm omniroute globalmente.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Executar

Inicie a API e o dashboard juntos na porta 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Conecte sua ferramenta

Use http://localhost:20128/v1; a rota auto sem chave funciona em uma instalação nova.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute da Cheaper Inference

Escolha como você roda o OmniRoute.

Auto-hospede o OmniRoute ou use a Cheaper Inference para um gateway hospedado ordenado por custo.