現在其實已經有很多在線的llm服務了，當然也存在許多開源部署方案，但是不知道大家有沒有發現一個問題，目前基于ChatGPT開發的應用，都是使用的OpenAI的介面，換句話說，如果沒有OpenAI賬號，就沒有辦法使用這些應用，但是其實這些應用并不是強依賴于OpenAI的介面，其他的在線llm服務也是可以的，如claude、cohere等，自己部署的模型當然也行，
假如有這么一個東西，可以讓你不再受限于只能使用OpenAI介面，相信作業問題將可以更快解決，早早下班指日可待，受于claude-to-chatgpt啟發，于是我決定做一個這樣的專案，to-chatgpt，讓我們可以更加隨意自由地使用所有ChatGPT應用!!!
運行說明
使用之前，需要保證當前服務可以訪問相關的llm服務，比如說claude、cohere都有區域限制，至于這么處理這個限制，github上有很多方案，搜索一下就知道了，提示只能這么多了，
adapter 引數
值得注意的是，目前有兩種配接器，一種是異步的，一種是同步的， 決定使用哪個類別的因素是當前訪問在線LLM服務的sdk，如果提供了異步介面，則優先考慮異步實作，
通過-a指定配接器，目前已經實作的配接器包括了：
異步配接器：
- claude，使用 anthropic-sdk-python 實作， 活期賬戶需要申請，成功后可免費使用，供個人日常使用，
- cohere，使用 cohere-python 實作， 只需要注冊一個賬號，個人就可以免費使用，但是有頻率限制，一分鐘五次，
- new_bing，使用 EdgeGPT 實作，EdgeGPT 是微軟 Bing Chat AI 的逆向工程 API， 因為目前new bing沒有提供官方sdk，所以這種方式不穩定，
同步配接器：
- bard，使用 Bard 實作，是 Google Bard 的逆向工程 API，不穩定，
如果想在 ChatGPT 應用程式中使用 cohere api，你只需要啟動服務，如：
python app.py -a cohere
還有一點需要注意的是，因為有些API是非異步的，比如現在的bard，需要運行app_sync.py檔案，比如：
python app_sync.py -a bard
原始碼運行
git clone https://github.com/SimFG/to-chatgpt
cd to-chatgpt
pip install poetry
poetry install
python app.py -a new_bing
docker 運行
docker pull simfg/to_chatgpt:latest
docker run -d -p 8000:8000 simfg/to_chatgpt:0.1
指定adapter運行
docker run -d -p 8000:8000 simfg/to_chatgpt:latest poetry run python app.py -a new_bing
使用說明
如果發現服務沒有正常回應，可以查看服務控制臺是否有錯誤輸出，很可能訪問llm服務有問題，
如果要指定服務的埠，可以使用-p引數，
將chatgpt應用中的openai base url設定為服務地址， 一般這個選項在openai api key附近，
不同的配接器有不同的使用方法，說明如下，
-
claude
啟動服務后，在需要OPENAI_API_KEY的地方指定claude服務的api key，
-
cohere
啟動服務后，在需要OPENAI_API_KEY的地方指定cohere服務的api key，
-
new_bing
不需要設定，但不穩定，
-
bard
啟動服務后，在需要OPENAI_API_KEY的地方指定__Secure-1PSID cookie，
cookie獲取方式：
- F12 控制臺
- 復制值
- 會話：轉到應用程式 → Cookie → __Secure-1PSID， 復制該 cookie 的值，
更多細節：Bard
如果你認為專案不錯，幫忙Github star and star ?? ?? ??，感謝感謝
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/555600.html
標籤：其他
上一篇：Liunx nginx服務
下一篇：返回列表