ChatGPT大升級(jí)?它去考研能考上物理所嗎?

3月15日本應(yīng)是小編勤勤懇懇搬磚的平凡一天,但小編剛睡醒就發(fā)現(xiàn)朋友圈被ChatGPT刷屏了:
新版GPT-4震撼發(fā)布!
大升級(jí)!強(qiáng)到爆炸!
這些字眼引起了我的興趣,于是小編迅速入(ke)手(jin)了gpt-4,經(jīng)過(guò)簡(jiǎn)單體驗(yàn)后,小編發(fā)現(xiàn)Chatgpt的思維深度確實(shí)比之前有了跨越式的提升,高中甚至大一大二的知識(shí)根本難不住它,于是小編準(zhǔn)備對(duì)它進(jìn)行進(jìn)一步測(cè)試...
如果你還不太了解什么是ChatGPT,可以先去公眾號(hào)看一下我們先前的推送:有人說(shuō)ChatGPT有物理學(xué)博士水平?我們的測(cè)試結(jié)果令人……
在上一篇推送中我們已經(jīng)簡(jiǎn)單測(cè)試了ChatGPT的物理水平,但結(jié)果并不盡如人意。它仍停留在對(duì)物理學(xué)一知半解的階段,很多知識(shí)點(diǎn)僅限于知道,稍微深入就開(kāi)始顧左右而言他,邏輯思維能力有限,但那是之前的gpt-3.5版本。

根據(jù)官方的宣傳,新推出的gpt-4在各項(xiàng)考試中的成績(jī)遠(yuǎn)超gpt-3.5,在很多專業(yè)和學(xué)術(shù)上的表現(xiàn)達(dá)到了人類水平,甚至在GRE(美國(guó)研究生入學(xué)考試)的兩科中已經(jīng)達(dá)到了頂尖大學(xué)生水準(zhǔn)。

于是小編開(kāi)始好奇:它能征服GRE,能征服我們物理所的考研題嗎?

物理所的考研專業(yè)課是國(guó)科大自主命題。根據(jù)往年的情況,專業(yè)課單科分?jǐn)?shù)130左右(滿分150分)才能有一定把握考上。

由于不同專業(yè)的考試要求不同,這里我們就以四大力學(xué)中最難的量子力學(xué)作為基準(zhǔn)來(lái)考察一下新版Chatgpt的物理水平。至于為什么要選量子力學(xué),因?yàn)槠瘴飳?duì)它已經(jīng)構(gòu)不成威脅,測(cè)不出它的能力上限,是時(shí)候讓Chatgpt見(jiàn)識(shí)一下真正的力量了!
溫馨提示:看不懂也不影響你直接拉到文末看結(jié)論。
01
量子力學(xué)第一題

第一問(wèn)

第一題的三問(wèn)都是量子力學(xué)基礎(chǔ)內(nèi)容,屬于送分題,但從這個(gè)答案就可以看出ChatGPT是有量子力學(xué)功底的:能充分理解我給出的題目,思路清晰正確,加十分!
第二問(wèn)

本題Chatgpt用的方法很奇怪。因?yàn)轭}目沒(méi)有給出束縛態(tài)的具體形式,也就沒(méi)有值得討論的對(duì)稱性,只能勉強(qiáng)給一點(diǎn)分。
實(shí)際上定態(tài)下力學(xué)量的期望值不隨時(shí)間改變,具體到位移就是d<x>/dt=0,用海森堡運(yùn)動(dòng)方程可以導(dǎo)出<p>=m*d<x>/dt=0,因此的動(dòng)量期望為0。
第三問(wèn)


本題其實(shí)只需要將含時(shí)薛定諤方程的解代入定態(tài)方程,求出其對(duì)時(shí)間的導(dǎo)數(shù)為0就可以,Chatgpt卻大費(fèi)周章地去求含時(shí)薛定諤方程的解,實(shí)際上這個(gè)結(jié)論完全可以直接使用。
而且Chatgpt還差臨門一腳:證明對(duì)時(shí)間的導(dǎo)數(shù)為0,不過(guò)影響不大。
第一題得分:22分。
02
量子力學(xué)第二題

第一問(wèn)

首先是本征態(tài)沒(méi)問(wèn)題,但歸一化錯(cuò)了。積分的結(jié)果應(yīng)該用delta 函數(shù),否則對(duì)1進(jìn)行全空間積分就是正無(wú)窮。但如果我們跟著Chatgpt的錯(cuò)誤思路繼續(xù)做下去,就會(huì)看到最后一步化簡(jiǎn)時(shí)AI給出了這樣的結(jié)果:

這個(gè)式子的值應(yīng)當(dāng)是1/π。居然會(huì)出現(xiàn)這種低級(jí)錯(cuò)誤,Chatgpt你還是訓(xùn)練的不夠??!
第二問(wèn)



第二問(wèn)用泰勒公式就扯遠(yuǎn)了。本題兩個(gè)結(jié)論之間是厄米共軛的,只需證明其中之一。解題思路是在兩項(xiàng)中插入一個(gè)完備集,運(yùn)算后積分即得結(jié)論。
第三問(wèn)


第三問(wèn)的過(guò)程乍一看還是很合理的,公式本身也沒(méi)錯(cuò),但AI卻套錯(cuò)了公式導(dǎo)致結(jié)果錯(cuò)誤。正確的公式如下:

第四問(wèn)

第四問(wèn)Chatgpt的思路沒(méi)錯(cuò),只需要將第三問(wèn)結(jié)果平方就能得到結(jié)果,但第四問(wèn)要用到第三問(wèn)的結(jié)論,所以也跟著錯(cuò)了,大概可以酌情給點(diǎn)思路分。
第二題得分:10分。
03
量子力學(xué)第三題

第一問(wèn)
來(lái)看看Chatgpt對(duì)角動(dòng)量的理解。


看起來(lái)Chatgpt并不懂角動(dòng)量,說(shuō)了一堆廢話以后算出來(lái)一個(gè)0,正確的解法應(yīng)該把球坐標(biāo)代入波函數(shù),然后整理成球諧函數(shù)的形式算出角量子數(shù)l=1。

如果總角動(dòng)量為0,第二問(wèn)的結(jié)果直接就是0,就不需要算了。
第二問(wèn)

果然,Chatgpt廢話了一大圈以后還是得出了0,第一問(wèn)總角動(dòng)量算錯(cuò),第二問(wèn)算分量肯定會(huì)算錯(cuò)。
至于第三問(wèn),AI廢話說(shuō)到一半就報(bào)錯(cuò)了,所以我就不上截圖了。
第三題得分:2分。
04
量子力學(xué)第四題

第一問(wèn)

第一問(wèn)的解題思路是對(duì)的,然而Chatgpt一上來(lái)就把哈密頓量給寫(xiě)錯(cuò)了,少了泡利矩陣?yán)锏?/2,因此最后的本征值里多了個(gè)2,且結(jié)果沒(méi)有歸一化,但除此以外都是對(duì)的。
第二問(wèn)


第二問(wèn)是純粹的本征值計(jì)算問(wèn)題,Chatgpt的思路非常標(biāo)準(zhǔn),前期計(jì)算也是正確的,但最后算行列式時(shí)直接把兩個(gè)2c_0給扔掉了,導(dǎo)致兩個(gè)能級(jí)結(jié)果錯(cuò)誤。雖然沒(méi)能全對(duì),能做到這一步已經(jīng)很厲害了。

第四題得分:25分
05
量子力學(xué)第五題

第一問(wèn)

第一問(wèn)是送分題,只要把定態(tài)的動(dòng)量和位移的不確定度代入不確定性關(guān)系,由a^2+b^2≥2ab就可以導(dǎo)出最小值,Chatgpt的思路雖然復(fù)雜了點(diǎn),但也沒(méi)問(wèn)題,然而它又又又又算錯(cuò)了:

但我們稍加計(jì)算就能看出這里的化簡(jiǎn)結(jié)果應(yīng)當(dāng)是:

第二問(wèn)



第二問(wèn)變分法,Chatgpt一上來(lái)就把歸一化常數(shù)算錯(cuò)了:

但人類也會(huì)犯這種低級(jí)錯(cuò)誤
很明顯,這里AI把平方漏掉了,導(dǎo)致后續(xù)計(jì)算全部錯(cuò)誤。不過(guò)AI給出的過(guò)程很標(biāo)準(zhǔn),條理清晰,值得學(xué)習(xí)。
第三問(wèn)

本題直接套升降算符的性質(zhì):a_- |0>=0,|1>=a_+ |0>,由第一個(gè)式子確定基態(tài)波函數(shù),再用第二個(gè)式子算出第一激發(fā)態(tài)。AI用的也是這個(gè)思路,但在下面這一步求導(dǎo)的時(shí)候算錯(cuò)了。

第四問(wèn)

題目已經(jīng)給出了微擾的矩陣形式,直接算特征值就可以解決問(wèn)題,但Chatgpt又把簡(jiǎn)單的行列式算錯(cuò)了,算出了1*1=2的驚天妙手:

正確的久期方程應(yīng)該是-λ^3+λ=0,而不是其給出的-λ^3+2λ=0。由久期方程解出0和±1三個(gè)特征值,因此在微擾下三重簡(jiǎn)并消除,能級(jí)分裂成與特征值一一對(duì)應(yīng)的三個(gè)。
第五題總分:18分。
ChatGPT總得分:77分/150分,距離130分的目標(biāo)還有億點(diǎn)差距,建議第二年再戰(zhàn)哦!
此外,我還讓Chatgpt做了2021年的國(guó)科大量子力學(xué)考研題,它也拿到了約80分,而且如果能幫它稍微修正一下計(jì)算過(guò)程中的錯(cuò)誤,就能達(dá)到約100分水平。毫不夸張地說(shuō),Chatgpt的量子力學(xué)已經(jīng)達(dá)到了物理系本科畢業(yè)生水平。
06
文獻(xiàn)總結(jié)
為了進(jìn)一步測(cè)試gpt-4的學(xué)術(shù)能力,我又找了一篇文獻(xiàn)來(lái)測(cè)試gpt-4的文獻(xiàn)閱讀能力,下面是一段由其生成的文獻(xiàn)內(nèi)容總結(jié)。
論文鏈接

Chatgpt翻譯總結(jié)的錯(cuò)誤較多,比如溫度的單位mK被翻譯成了毫克,也無(wú)法理解一些學(xué)術(shù)名詞,比如1K池(4He-1K-stage)被翻譯成了1K級(jí),不認(rèn)識(shí)卡皮查熱阻等,參考價(jià)值有限。看來(lái)學(xué)術(shù)名詞翻譯即使對(duì)AI來(lái)說(shuō)也不是一件容易的事。

但如果讓Chatgpt以英文輸出,則其總結(jié)文獻(xiàn)內(nèi)容的能力十分強(qiáng)大,語(yǔ)言流暢邏輯清晰,不過(guò)仍會(huì)遺漏一些重要信息,所以還不能依賴AI來(lái)看文獻(xiàn)。
目前將論文輸入Chatgpt比較麻煩,很多時(shí)候不如直接看摘要,尚不能為我們閱讀文獻(xiàn)提供實(shí)質(zhì)性的幫助。如果后續(xù)能根據(jù)圖片或者pdf直接給出主要內(nèi)容,將是其能力的又一次飛躍。
07
新舊版本對(duì)比
最后我又對(duì)比了一下gpt-3.5和gpt-4的量子力學(xué)能力。面對(duì)一維諧振子問(wèn)題,gpt-4能完美解決,但gpt-3.5就不行。

不過(guò),面對(duì)更復(fù)雜的場(chǎng)論中氫原子狄拉克方程與精細(xì)結(jié)構(gòu)問(wèn)題,即使是gpt-4也無(wú)能為力,只能在說(shuō)了一堆廢話后報(bào)錯(cuò),看來(lái)場(chǎng)論的難度已經(jīng)超過(guò)了它的能力上限。綜合來(lái)看,gpt-3.5對(duì)量子力學(xué)僅有大概了解,但gpt-4對(duì)量子力學(xué)有著深入的了解,水平遠(yuǎn)超gpt-3.5。




總結(jié)
經(jīng)過(guò)測(cè)試,gpt-4對(duì)量子力學(xué)的理解相當(dāng)深入。它解題的思路清晰準(zhǔn)確,但計(jì)算能力較差。由于語(yǔ)言模型底層邏輯的限制,它在解題過(guò)程中總是犯低級(jí)計(jì)算錯(cuò)誤,因此拿不到高分,也就考不上物理所。但我認(rèn)為它的總分過(guò)國(guó)家線不成問(wèn)題。

雖然ChatGPT很難考上物理所,但它的量子力學(xué)水平已經(jīng)接近物理專業(yè)的本科畢業(yè)生(計(jì)算能力除外),令人不得不承認(rèn)它的強(qiáng)大。不僅如此,從小學(xué)中學(xué)到本科的題目都可以讓ChatGPT來(lái)解,其不但能提供詳細(xì)的思路和過(guò)程,還能針對(duì)你提出的問(wèn)題加以講解,善加運(yùn)用完全可以成為學(xué)生的好幫手。
最后,歡迎大家報(bào)考中科院物理所哦!
注1:ChatGPT網(wǎng)頁(yè)端目前未開(kāi)放圖片輸入,本文并非以圖片,而是以輸入符號(hào)文字的形式來(lái)向ChatGPT提問(wèn)的。展示的題目圖片是為了方便讀者閱讀。
注2:小編沒(méi)有考研經(jīng)驗(yàn),給分比較隨意,本文不構(gòu)成任何考研建議。
編輯:黃水機(jī)