最近出來了一個MathGPT，據說數學能力非常強，并且已經開始測試了。我個人使用的體驗還可以，畢竟這個東西主要是為了中小學數學題服務的，難度不至于特別高。

然而，自從大語言模型（LLM）出現(xiàn)以來，推理和數學能力就一直是關注的焦點，畢竟這里面涉及到的東西就多了，例如如何理解當前的問題、在數學問題中如何避免幻覺、推理過程中對之前信息的記憶能力等等都會被考察到。不過，很遺憾的是，對于目前的LLM來說，數學和推理依然是弱項。

我們首先從最基本的一些知識來分析，這也是之前一個朋友在某個動態(tài)的評論中和我討論了好幾輪的一個話題。

以ChatGPT為代表，現(xiàn)在大部分語言模型都是基于Transformer架構的，并且訓練方式簡單來說就是“預測下一個token”，token一般翻譯成“詞元”、“子詞”等，例如apple可能被拆分為“app”和“l(fā)e”，這倆都是token。當然，如果你覺得理解起來有些難度，那么就簡單理解成“預測下一個詞”就好，兩者只是粒度上的差別，所以后面以中文為例的話，我就當做“預測下一個漢字”來舉例了。

舉個例子，假設我問ChatGPT“在中國一般旺財指代哪種動物？”，ChatGPT會把這段話作為輸入，首先預測并生成下一個字“旺”，然后把“在中國一般旺財指代哪種動物？旺”作為輸入預測并生成“財”，就這樣一步步地生成整個回答“旺財在中國一般指代狗”。在使用的時候是這樣，訓練的時候也是這樣，也就是說，在ChatGPT“預”訓練期間它所做的就是使得預測下一個詞的精度盡可能高。

所以從根本上來說，ChatGPT并不會像我們學習一樣，一開始掌握概念、掌握方法，然后一步步分析問題，他所做的只是根據當前的輸入預測出下一個詞罷了。

那么問題來了，為什么ChatGPT能夠有很驚艷的表現(xiàn)，而且看起來至少能做很多低難度的數學題呢？

關鍵就在于巨量的訓練語料，因為“1+1=2”這樣的東西在訓練語料中反復出現(xiàn)，ChatGPT從中學到了“1+1=”后出現(xiàn)“2”的幾率更高，或者說，仍然是基于統(tǒng)計的。

當然，大模型還有很多神秘的地方，例如很多研究都表明語言模型不是只會停留在簡單的統(tǒng)計和記憶階段，他們也會在內部模擬一些很抽象的東西，一個例子就是代碼追蹤。

這里舉個簡單的例子：“a=10；b=20；c=a+b；d=c/2”這段話中并沒有顯示給出c的值，但是我們是可以發(fā)現(xiàn)ChatGPT在內部一些地方模擬出c的值的（這是MIT的一篇研究論文，實際上比這個復雜，這里為方便理解做了簡化），這說明大模型是超越了簡單的統(tǒng)計的，當然究竟超過了多少仍然是一個有待研究并且要研究很久的的問題。

當然，雖然“大模型學到了一些抽象的東西”基本上可以算的上是共識了，但這并不意味著當前的大模型就會推理了，有篇文章的標題就很直白《GPT-4 can't reason》，說明大模型在解決一些推理問題（大部分都是數學題）時會犯很多人類完全不會犯的奇怪的錯誤，所以即使很多時候我們可能覺得ChatGPT能解決一些復雜問題，也不意味著它真的在做推理。

當然，這事情還可以繼續(xù)“滑坡”，甚至直接滑到哥德爾不完備性定理這堵嘆息之墻那里，當然這里就不展開談了。

從我的觀察來看，目前很多人看待AI都陷入了兩個極端，要么直接批判AI什么都做不到，要么把AI目前亮眼的表現(xiàn)捧得很高。

不過很多時候也只是視角的問題，有些人預設了“AI能解決一切問題”，然后發(fā)現(xiàn)它從理論上就做不到，然而如果預設了“AI什么都做不到”，那“為什么AI有時候確實能有亮眼的表現(xiàn)”這個問題就值得研究了。算了，這個問題要談起來確實太復雜了，雜談就懶得展開了

最后還是需要說，不要無條件相信大模型的輸出，這是“盡信書則不如無書”的最好的試金臺。