Nginx反向代理服務流式輸出設置

1.問題場景

提問：為什么我部署的服務沒有流式響應

最近在重構原有的GPT項目時，遇到gpt回答速度很慢的現(xiàn)象。在使用流式輸出的接口時，接口響應速度居然還是達到了30s以上。

2.現(xiàn)象分析

分析現(xiàn)象我發(fā)現(xiàn)，雖然前端還是流式打印的結果，但是，好像是接口處理完了，再以流式返回到的前端。

3.解決過程記錄

起初

因為新的重構項目中用MASA 的minimalAPI代替了傳統(tǒng)的MVC。所以在接口實現(xiàn)上跟之前有所不同，在對Stream流的處理方式上也有不同。我以為是我處理的方式不對，為此，我的代碼做過多次改進。最終的接口如下：

后來

在優(yōu)化代碼后，本地速度提升明顯。但是在服務器上速度任然不理想。讓我懷疑，是不是代碼問題?難道是別的問題。

與此同時，昨天，我的搭檔同樣向我拋出了這個問題：“聊天的接口好慢”

我說出了兩種可能：1.代碼，是minimalAPI的鍋。2.網(wǎng)絡，我們的服務部署在自己的服務器上，然后通過內網(wǎng)映射，又通過反向代理調用的OpenAI的接口，網(wǎng)絡復雜，造成了速度慢。

最后發(fā)現(xiàn)問題

今天，我想到問題所在，我們的反向代理服務，是通過nginx做了反向代理的，之前我們解決過后端服務的nginx反向代理設置流式傳輸?shù)膯栴}。問題就在這里。對應的yarn服務的nginx配置同樣需要設置流式傳輸。

2.解決問題的方法

如果你使用 ngnix 反向代理，需要在配置文件中增加下列代碼：

3 什么是代理，如何使用？

由于 OpenAI 的 IP 限制，中國和其他一些國家/地區(qū)無法直接連接 OpenAI API，需要通過代理。你可以使用代理服務器（正向代理），或者已經設置好的 OpenAI API 反向代理。

- 正向代理例子：梯子。docker 部署的情況下，設置環(huán)境變量 HTTP_PROXY 為你的代理地址（例如：10.10.10.10:8002）。

- 反向代理例子：可以用別人搭建的代理地址，或者通過 Cloudflare 免費設置。設置項目環(huán)境變量 BASE_URL 為你的代理地址。

4.搭建反向代理服務

yarn 服務反向代理GPT部署方案：yarn 反向代理

閱讀如遇樣式問題，請前往個人博客瀏覽： https://www.raokun.top

擁抱ChatGPT：https://chat111.terramours.site

開源項目地址:https://github.com/raokun/YarpProject