OmniRoute / Bắt đầu nhanh và triển khai

Chạy OmniRoute ở nơi bạn kiểm soát.

Cài package, khởi động API cục bộ và chọn phương thức triển khai được hỗ trợ.

Bắt đầu nhanh

Cài đặt, chạy và kết nối.

Cài package, khởi chạy gateway, rồi trỏ bất kỳ client tương thích OpenAI nào tới cổng 20128.

Step 1: Cài đặt

Cài package npm omniroute ở phạm vi toàn cục.

omniroute: install
$ npm install -g omnirouteadded 1 package

Step 2: Chạy

Khởi chạy API và dashboard cùng lúc trên cổng 20128.

omniroute: run
$ omniroute▸ dashboard ✓ http://localhost:20128/dashboard▸ api ...... ✓ serving on :20128

Step 3: Kết nối công cụ của bạn

Dùng http://localhost:20128/v1; route auto không cần key hoạt động ngay trên bản cài mới.

omniroute: connect
$ curl localhost:20128/v1/models✓ models listed

OmniRoute của Cheaper Inference

Chọn cách bạn chạy OmniRoute.

Tự host OmniRoute, hoặc dùng Cheaper Inference để có gateway hosted xếp hạng theo chi phí.