分享?| 做科研的大師兄

我們上周分享了chatGPT的重磅插件code interpreter，錯過的點下面文字鏈接跳轉復習：重磅！chatGPT開放code interpreter插件，從此數(shù)據(jù)分析及作圖有手就行！

通過上篇推文大家已經(jīng)看到了code interpreter插件在科研數(shù)據(jù)處理中的強大之處，動動嘴就可以讓chatGPT為你打工，進行數(shù)據(jù)整理和可視化甚至統(tǒng)計分析！

Bilibili video ID：BV1D14y1o7Xk

同樣的，我們在上篇推文末尾給大家埋了一個伏筆，就是說code interpreter插件不僅允許我們上傳數(shù)據(jù)表格到chatGPT進行數(shù)據(jù)分析可視化，而且還可以上傳更多類型的文件，包括圖片、視頻、音頻等格式。

相信看到這里，很多聰明的的小伙伴已經(jīng)敏銳地察覺到了code interpreter在科研圖片類數(shù)據(jù)處理中也可能有潛在用武之地！

本篇推文將一個模式化的圖片（如下圖）為大家展示一下code interpreter是否真的讓chatGPT睜開了雙眼，能夠看到我們圖片中信息并給出正確反饋！

我們使用上圖所示測試圖片（命名：微信圖片_20230708203618.png；將不同大小、顏色的圓點放在一張圖片），通過code interpreter上傳輸入給chatGPT（如何上傳，參考上篇推文），然后針對圖片進行提問，評估GPT的反饋。

當我們上傳完成后，可以看到chatGPT已經(jīng)接收到信息，并反饋得到一張名為‘微信圖片_20230708203618.png’的圖片，并且可以幫我們針對該圖片進行分析和操作。

為了評估chatGPT是否真的能看到圖中信息，我們先提第一個問題如下圖。

通過反饋結果，看到chatGPT調(diào)用了code interpreter插件，回答圖片中包含7個圓，非常正確！

接著我們再升級一個難度，繼續(xù)第二次提問如下圖。

通過反饋，我們看到chatGPT準確辨別出來圖片中包含2個大小不同的黃色的圓，甚至圓的半徑比例（沒有現(xiàn)實比例尺作參考，所以只能給個相對比例）也給我們做了測量！

上面的測試可能太簡單，沒問題，我們直接再上一個難度—邏輯運算+計算！

通過反饋，可以看到code interpreter插件真正讓chaGPT睜開了雙眼，可以幫我們看到并正確提取圖片中的信息！

雖然這里測試用的是最簡單的模式圖片，但已經(jīng)讓我們能夠聯(lián)想到科研中有不少圖片類數(shù)據(jù)需要進行數(shù)據(jù)提取，比如熒光定位、細胞計數(shù)、染色定量定性等等應用場景。code interpreter如果能應用到這些場景中，將極大提升我們的科研效率分析結果的統(tǒng)一性和可信度。

Code interpreter幫助chatGPT識圖的底層原理是調(diào)用python中的opencv等圖像處理庫來完成。出于安全性考慮，目前code interpreter暫時不允許聯(lián)網(wǎng)，因此只能用一些簡單的內(nèi)置的圖像處理python庫，所以當我們實際使用中當然還會發(fā)現(xiàn)一點點不足，比如個別顏色識別失誤等。相信后續(xù)code interpreter實現(xiàn)聯(lián)網(wǎng)，就將具有隨時下載最新最前沿的圖像處理python庫，屆時才是chatGPT在科研圖片類數(shù)據(jù)處理中大放異彩的時刻，我們共同期待！

關注大師兄，科研不迷路！