本文通過 Flexus 云服務器 X 實例 部署 one-api。Flexus 云服務器 X 實例是新一代面向中小企業和開發者打造的柔性算力云服務器,可智能感知業務負載,適用于電商直播、企業建站、開發測試環境、游戲服務器、音視頻服務等中低負載場景。相較于 Flexus 應用服務器 L 實例,Flexus 云服務器 X 實例的優勢包含:提供豐富的公共鏡像、可靈活自定義 vCPU 內存配比、智能感知業務動態升降配,負載范圍更高等。
Flexus 云服務器 X 實例 能夠支持電商直播、企業建站、個人開發測試、游戲服務器等。
一、one-api 介紹
one-api 是一個 OpenAI 接口管理 &分發系統,目前支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智譜 ChatGLM、百度文心一言、訊飛星火認知、阿里通義千問、360 智腦以及騰訊混元,可用于二次分發管理 key,僅單可執行文件,已打包好 Docker 鏡像,一鍵部署,開箱即用。
one-api 特性:
(1)支持多種大模型;
(2)支持配置鏡像以及眾多第三方代理服務;
(3)支持通過負載均衡的方式訪問多個渠道;
(4)支持 stream 模式,可以通過流式傳輸實現打字機效果;
(5)支持多機部署,支持令牌管理,設置令牌的過期時間、額度、允許的 IP 范圍以及允許的模型訪問;
(6) 支持兌換碼管理,支持批量生成和導出兌換碼,可使用兌換碼為賬戶進行充值;
(7)支持渠道管理,批量創建渠道。 支持用戶分組以及渠道分組,支持為不同分組設置不同的倍率;
(8) 支持渠道設置模型列表,支持查看額度明細。 支持用戶邀請獎勵。 支持以美元為單位顯示額度等。
二、部署 one-api
2.1 拉取鏡像
首先,先從遠程鏡像倉庫中拉取 one-api 鏡像,執行如下命令拉取。
root@flexusx-7305:~#dockerpull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
v0.6.0: Pulling from ddn-k8s/docker.io/justsong/one-api
4abcf2066143: Pull complete
c2f30ece0032: Pull complete
213fae9f6ab5: Pull complete
f2605c032589: Pull complete
Digest: sha256:416dc625c8c5a905e70db79b40bed5325fa0bc26aecf9cf9181e89b653595e14
Status: Downloaded newer image for swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
one-api 鏡像拉取成功。
2.2 部署 one-api
拉取完 one-api 鏡像后,one-api 鏡像會存儲到本地,如下所示。
root@flexusx-7305:~# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea 1.22.1 b3de72970178 2 months ago 167MB
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api v0.6.0 36bd98ce5a7c 6 months ago 48.4MB
daocloud.io/library/mysql 8 26d0ac143221 3 years ago 546MB
daocloud.io/library/mysql latest 8457e9155715 3 years ago 546MB
root@flexusx-7305:~#
復制鏡像名稱,通過 docker 部署 one-api,執行如下命令。
root@flexusx-7305:~# docker run --name one-api -d --restart always -p 3002:3000 -e TZ=Asia/Shanghai -v /root/data/one-api:/data swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0
89bb9f7a3dd119008c678243464bdf10df377dc4d482b123be3c077d7a675ac8
root@flexusx-7305:~# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
89bb9f7a3dd1 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/justsong/one-api:v0.6.0 "/one-api" 2 seconds ago Up 2 seconds 0.0.0.0:3002->3000/tcp, [::]:3002->3000/tcp one-api
ef512af0c1c5 swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gitea/gitea:1.22.1 "/usr/bin/entrypoint…" 2 days ago Up 2 days 0.0.0.0:3000->3000/tcp, :::3000->3000/tcp, 0.0.0.0:222->22/tcp, [::]:222->22/tcp gitea
65fe1c102df6 daocloud.io/library/mysql:8 "docker-entrypoint.s…" 2 days ago Up 2 days 3306/tcp, 33060/tcp root_db_1
root@flexusx-7305:~#
通過 docker ps 可以查看正在運行的容器,可以看到 one-api 已運行,端口是 3002,對應容器內部端口 3000。
三、運行 one-api
通過上面的步驟,one-api 已經部署成功,下面就來詳細看下 one-api 的功能。
3.1 添加規則
one-api 對應的端口是 3002,需要將 3002 端口加入到準入規則中。
首先,在基本信息中,找到安全組,點擊進入安全組,如下所示。
然后,點擊配置規則配置 3002 端口,如下所示。
設置優先級,然后在協議端口中添加端口,點擊確定,如下所示。
可以看到 3002 端口已經被加入到安全規則中,如下所示。
3.2 運行 one-api
在瀏覽器中,訪問 http://服務器 IP 地址:3002,one-api 界面如下所示。
然后,點擊右上角登錄按鈕,默認用戶名為 root,默認密碼為 123456,登錄后可以修改密碼,如下所示。
四、添加大模型 API
4.1 添加大模型 API
添加大模型 API 是在渠道里面,如下所示。
點擊添加新渠道,如下所示。
加完成后可以點擊測試按鈕測試添加是否成功。
4.2 添加令牌
添加完大模型后,點擊令牌生成密鑰。
點擊添加新的令牌,輸入令牌名稱,過期時間可以默認,表示永不過期,如下所示。
添加完成后,點擊復制即可復制密鑰,用于通過 one-api 連接大模型時填寫密鑰。
五、總結
通過 Flexus 云服務器 X 實例 上部署 one-api,能夠流暢支持多種大模型接入,方便了大模型的開發工作。而且,Flexus 云服務器 X 實例提供了豐富的公共鏡像,可靈活自定義鏡像版本,支持智能感知業務動態升降配,負載范圍更高,支持靈活自定義 vCPU、內存實例規格,支持按需計費更精細和靈活的定價模式,可基于實際負載畫像智能推薦規格。趕緊用起來吧!
審核編輯 黃宇
-
云服務器
+關注
關注
0文章
739瀏覽量
13432 -
大模型
+關注
關注
2文章
2603瀏覽量
3215
發布評論請先 登錄
相關推薦
Flexus 云服務器 X 實例實踐:安裝 SimpleMindMap 思維導圖工具
![<b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>實踐:安裝 SimpleMindMap 思維導圖工具](https://file1.elecfans.com//web3/M00/06/56/wKgZO2eJthCAXZgSAAEJcgSbShg123.png)
華為云 Flexus 云服務器 X 實例之 openEuler 系統下部署 Discuz 論壇網站
![華為<b class='flag-5'>云</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>之 openEuler 系統下<b class='flag-5'>部署</b> Discuz 論壇網站](https://file1.elecfans.com//web3/M00/04/3A/wKgZO2dxDm6ASc1qAAEOFncth-U569.png)
評論