初體驗(yàn)后的總結(jié)

有人沒(méi)有耐心看到最后，我先把我自己測(cè)試到的結(jié)論放在最前面。（但強(qiáng)烈建議大家閱讀全文，不虧）

OpenAI 官方提供了的一個(gè)能夠自己編寫(xiě) Python 代碼并執(zhí)行 Python 代碼的沙箱。支持用戶上傳本地的文件。ChatGPT 會(huì)基于指令或者文件內(nèi)容，分析、編寫(xiě) Python 代碼，并反復(fù)修改、執(zhí)行自己的代碼，同時(shí)，也可以把結(jié)果保存成相應(yīng)的文件供用戶下載。

注意?。?！其所有的操作都是通過(guò)編寫(xiě)并執(zhí)行 Python 代碼實(shí)現(xiàn)的，不能直接執(zhí)行你上傳的代碼！即便是訪問(wèn)你的上傳的代碼，它也是通過(guò)執(zhí)行 Python 的 open() 方法實(shí)現(xiàn)的，以保證其沙箱的安全性。

優(yōu)勢(shì)和長(zhǎng)處：

1、第一印象非常驚艷，非常強(qiáng)。我第一次用的時(shí)候，給了它一個(gè) CSV 文件，沒(méi)有給出任何指令的情況下，它自己 balabala 自己擱那一頓分析，然后給出了我非常好的數(shù)據(jù)分析和可視化結(jié)果。從頭到尾，我除了「上傳文件」這一個(gè)操作，其它任何指令都沒(méi)給…

2、通過(guò)執(zhí)行 Python 庫(kù)，即使沒(méi)有 Wolfman 插件的情況下，也可以正確計(jì)算數(shù)學(xué)題目。

3、會(huì)給出你思考的過(guò)程以及具體的代碼文件，是一個(gè)非常非常優(yōu)秀的「數(shù)據(jù)分析導(dǎo)師」，幾乎跑通了自然語(yǔ)言到數(shù)據(jù)分析+可視化+給出分析結(jié)論的流程，而且如果你的數(shù)據(jù)模板格式相對(duì)比較統(tǒng)一，甚至可以把代碼保存下來(lái)運(yùn)行（甚至以此解決數(shù)據(jù)安全問(wèn)題？）。

4、顧名思義，它是「代碼解釋器」，有沒(méi)有可能，它真的會(huì)寫(xiě)/改代碼…甚至寫(xiě)的比我好…

5、你可以嘗試上傳任何文件（＜100MB，雖然它不一定為你執(zhí)行）。我測(cè)試了常規(guī)的文本（txt，csv，docx，xlsx…），圖片，音頻，視頻…都沒(méi)有問(wèn)題。甚至是壓縮包和 sqlite .db 文件。只要你自己能用 Python 處理的文件格式，它一律可以處理！

缺陷或者不足：

1、不能聯(lián)網(wǎng)！不能聯(lián)網(wǎng)！不能聯(lián)網(wǎng)！

2、僅限于官方內(nèi)置提供的一些庫(kù)，不能自己安裝其他庫(kù)，或調(diào)用其他庫(kù)的功能。（不是 Python 內(nèi)置庫(kù)，除了 Python 內(nèi)置庫(kù)，相對(duì)來(lái)說(shuō)還是有很豐富的第三方庫(kù)的）

3、續(xù)2，盡管能接收?qǐng)D片、音頻、視頻等類型的文件，但其處理能力也僅限于其提供的一些庫(kù)的功能，比如不能音頻轉(zhuǎn)文字，不能圖生圖修圖等等，能做的，是截取音頻、截取視頻、轉(zhuǎn)格式、視頻轉(zhuǎn) GIF、GIF 轉(zhuǎn)視頻這些用相對(duì)常規(guī)的庫(kù)就能實(shí)現(xiàn)的操作。

4、官方目前給出的沙盒環(huán)境中，缺少中文字體支持。如果上傳的文檔中有中文內(nèi)容，雖然能夠正確讀取并處理，但在 PIL 可視化的過(guò)程中，會(huì)因缺失字體而顯示不正常。后面會(huì)詳細(xì)說(shuō)。

5、老生常談的數(shù)據(jù)安全話題，甚至與 ChatGPT 不同，如果如果你想體驗(yàn)自動(dòng)化的數(shù)據(jù)分析或者代碼編寫(xiě)，就必須把本地文件進(jìn)行上傳。

官方介紹

在官方的博客 中，是這樣介紹 Code interpreter 的：

官方也給出了三個(gè)基于此能力的推薦用法：

• Solving mathematical problems, both quantitative and qualitative 解決數(shù)學(xué)問(wèn)題，包括定量和定性問(wèn)題。

• Doing data analysis and visualization 進(jìn)行數(shù)據(jù)分析和可視化

• Converting files between formats 在不同格式之間轉(zhuǎn)換文件

實(shí)際測(cè)試

我按照官方給出的用法，進(jìn)行一些嘗試，并自己測(cè)試了一些其他用法。

數(shù)學(xué)問(wèn)題

這個(gè)只做個(gè)簡(jiǎn)單的測(cè)試。因?yàn)槌Ｒ?guī)的數(shù)學(xué)問(wèn)題，GPT-4 已經(jīng)有很大的能力提升了。但是，就好比人有了計(jì)算器就懶得手算一樣，這家伙有了 Python，算個(gè)雞兔同籠竟然也要用 Python 了。

現(xiàn)有一籠子，里面有雞和兔子若干只，數(shù)一數(shù)，共有頭14個(gè)，腿38條，球雞和兔子各有多少只？

我一時(shí)想不出要測(cè)什么別的題目…先過(guò)，大家可以在評(píng)論區(qū)出題，我再補(bǔ)充進(jìn)來(lái)。

代碼能力

代碼能力…還有必要測(cè)嗎…只不過(guò)相比于 ChatGPT 只能寫(xiě)代碼，它還可以執(zhí)行代碼得到結(jié)果。如：

給定一個(gè) 1 到 100 之間的隨機(jī)整數(shù)數(shù)組，找出其中所有奇數(shù)，并將它們替換為 -1。

同樣的，我們也可以上傳一段自己的代碼，看它是否能執(zhí)行或者修改。比如一段最簡(jiǎn)單的爬蟲(chóng)代碼：

顯然，它不能夠執(zhí)行帶有網(wǎng)絡(luò)請(qǐng)求函數(shù)的代碼。然后，我讓它為代碼添加 headers 和 cookies，它分兩步完成了我的任務(wù)：

第一步，讀取代碼，它很謹(jǐn)慎地使用了 with open() 方法：

第二步，修改代碼：

當(dāng)然，我可以再多加一個(gè)步驟：

總之，沙箱的安全限制還是比較嚴(yán)格的…并不是提供一個(gè)直接的終端執(zhí)行環(huán)境。

再比如，我嘗試獲取沙箱環(huán)境上級(jí)目錄的內(nèi)容（顯然，這樣低級(jí)的測(cè)試 OpenAI 不可能沒(méi)有考慮到）：

數(shù)據(jù)分析和可視化

這一部分是重中之重，希望你沒(méi)有提前退出…不過(guò)，由于暫時(shí)沒(méi)找到合適的測(cè)試數(shù)據(jù)（我對(duì)數(shù)據(jù)安全還是心存顧慮），所以我干脆從 Apple Watch 中導(dǎo)出了自己的一些健康數(shù)據(jù)。

比如我上傳了一份自己的 ECG 心率檢測(cè)數(shù)據(jù)，這份數(shù)據(jù)大概長(zhǎng)這個(gè)樣子：

ChatGPT 會(huì)怎么做？注意：在這里我直接上傳了文件，并未給出其任何具體的指令！它自己直接開(kāi)始嘗試操作，反復(fù)讀取了前 N 行數(shù)據(jù)并推斷其是什么內(nèi)容、含義，直到最終準(zhǔn)確定位到，從第 14 行開(kāi)始是具體數(shù)據(jù)，并嘗試將之后的所有數(shù)據(jù)進(jìn)行了可視化。（這孩子看來(lái)比較軸，不做出個(gè)結(jié)論來(lái)誓不罷休…）

截圖里面的每一個(gè) Work，都是一段具體的 Python 代碼。具體來(lái)講：

第一次執(zhí)行，嘗試讀入了前幾行并分析其含義：

然后對(duì)這些數(shù)據(jù)進(jìn)行了格式化：

然后，它推測(cè)這些數(shù)據(jù)中并不包含真實(shí)的 ECG 數(shù)值，并繼續(xù)嘗試讀取之后的內(nèi)容：

然后繼續(xù)清理這些非數(shù)值的屬性數(shù)據(jù)直到找到正確的起始數(shù)值。

然后主動(dòng)將其可視化：

這一頓操作…說(shuō)真的，我已經(jīng)看麻了。它能夠充分發(fā)揮「主觀能動(dòng)性」，去嘗試摘取屬性元數(shù)據(jù)，去定位具體的數(shù)值數(shù)據(jù)，甚至不需要指令的情況下，根據(jù) ECG 的采樣率，畫(huà)出了正確的圖像…

我們來(lái)看一眼可視化圖像這部分的代碼：

注意，源數(shù)據(jù)中只有一列采樣值，并沒(méi)有具體的時(shí)間。它完全是推斷出采樣頻率以后，自行補(bǔ)充計(jì)算的時(shí)間。

這個(gè)源文件的數(shù)據(jù)格式已經(jīng)堪稱 ugly 了，它都能給出這樣的表現(xiàn)…

格式轉(zhuǎn)換

這個(gè)格式轉(zhuǎn)換，其實(shí)還是比較有想象力的。但是開(kāi)篇就說(shuō)了，這些能力僅限于 Python 代碼能處理的范圍，但是有沒(méi)有可能，Python 代碼本身能做到的事情，就已經(jīng)很強(qiáng)了…

出于好奇，我還是先測(cè)試了一下 GPT-4 發(fā)布時(shí)的那張梗圖 。

但是它告訴我它看不到圖片內(nèi)容：

但是在官方演示中，它明明可以介紹圖片內(nèi)容：

我上傳相同的圖片，丫就不理我（漢字是我用插件加的翻譯）：

算了，看來(lái)圖像能力沒(méi)有向我開(kāi)放，我們還是測(cè)試別的內(nèi)容。

圖片處理（縮放、裁切、黑白化等）

音頻處理（剪切前幾秒）

我先是嘗試要求它實(shí)現(xiàn)語(yǔ)音轉(zhuǎn)文字（幻想其擁有 Whisper 的能力），顯然不能…然后就是常規(guī)的音頻操作了。

視頻處理（剪切幾秒并轉(zhuǎn)化為 GIF/或者反過(guò)來(lái)，GIF 轉(zhuǎn)視頻）

它在轉(zhuǎn)化過(guò)程中甚至失敗并重試了兩次…WTF…

其他奇怪的嘗試

剛才都是只上傳一個(gè)文件，突發(fā)奇想，如果上傳一個(gè)壓縮包會(huì)怎么樣…

它會(huì)使用 Python 進(jìn)行解壓。雖然中文的文件名亂碼了…但是不重要，這意味著我們可以后續(xù)處理多文件的任務(wù)了。

and…我剛剛意識(shí)到，上傳文件并不是一次性的…你在上傳第一個(gè)文件之后，對(duì)話框其實(shí)是可以支持繼續(xù)上傳其他文件的…

下載文件看的確是成功了的：

腦子好癢，感覺(jué)又打開(kāi)了什么新的想象力大門…

安全性與局限性

安全性

官方已經(jīng)解釋了該插件的安全限制：

總體的安全限制是通過(guò)沙箱（sandbox）來(lái)實(shí)現(xiàn)隔離執(zhí)行，并禁止代碼訪問(wèn)外部互聯(lián)網(wǎng)?？梢钥闯?，雖然類似 AutoGPT 的項(xiàng)目給予了 ChatGPT 更多「訪問(wèn)權(quán)限」，但 OpenAI 官方在給予其「執(zhí)行權(quán)限」上還是很謹(jǐn)慎的。

局限性

至于其局限性，我在開(kāi)篇和剛才的演示中也或多或少提到了。

然后，我又又又突發(fā)奇想了！既然它的能力是受限于環(huán)境中已經(jīng)存在的 Python 庫(kù)，那我們直接問(wèn)問(wèn)它自己都有哪些庫(kù)不就好了嗎…

同時(shí)…我連代碼都沒(méi)必要寫(xiě)，讓丫自己寫(xiě)！

顯然…它真的寫(xiě)了，也真的執(zhí)行了…

然后，我就拿到了 OpenAI 為我們提供的所有 Python 庫(kù)…WTF…

總之，我人已經(jīng)麻了…它的限制就是，它只能在以上這些庫(kù)的能力范圍內(nèi)為你工作…但是…ChatGPT 的大腦+這些庫(kù)的能力，已經(jīng)足以做很多很多很多事情了吧…

Whatever，改天我再抽空把這些庫(kù)具體是用作什么的，逐個(gè)分析一遍，然后嘗試給出更詳細(xì)的插件能力用法。

數(shù)據(jù)安全

還記得我在開(kāi)篇說(shuō)的關(guān)于數(shù)據(jù)安全的問(wèn)題嗎?，F(xiàn)在的顧慮在于，你需要將文件上傳到 OpenAI 的服務(wù)器進(jìn)行分析并執(zhí)行。有沒(méi)有解決辦法呢？

我又又又又又一次突發(fā)奇想：你可以上傳一份脫敏的 demo 數(shù)據(jù)，在 ChatGPT 中完成相應(yīng)的處理，然后要求它把涉及到的代碼保存下來(lái)。然后你就可以在自己本地處理真實(shí)數(shù)據(jù)了?。。?！

（小插曲：我讓它保存文件時(shí)，它又寫(xiě)錯(cuò)代碼了，并在重試的時(shí)候，糾正了自己的錯(cuò)誤。）

這是下載到本地的 Notebook 文件：

麻了，想象力過(guò)于豐富，腦子 CPU 要燒了。我不敢往下想了。

總之，這應(yīng)該當(dāng)前是整個(gè)中文互聯(lián)網(wǎng)下最全的一份 ChatGPT code interpreter 插件測(cè)評(píng)吧…希望對(duì)大家有所幫助。

后續(xù)我會(huì)繼續(xù)為大家更新 ChatGPT 插件的用法（甚至開(kāi)發(fā)，不過(guò)我還沒(méi)拿到開(kāi)發(fā)者權(quán)限）