因為動態(tài)發(fā)學(xué)術(shù)經(jīng)?？▽徍?，于是就寫寫專欄，而且專欄查找起來更加方便。

這個系列主要是介紹一些當(dāng)代人工智能（主要是神經(jīng)網(wǎng)絡(luò)）的一些好玩的前沿研究，不定期更新，反正我看到好玩的（來源可能是自己找的、師兄推薦的、公眾號給推的）就發(fā)一發(fā)。

希望能幫助大家了解下現(xiàn)在的人工智能研究到底在干什么，人工智能究竟發(fā)展到什么程度了。

這期是補檔，就是把我之前動態(tài)里發(fā)過的整合一下（所以就不搞什么highlight了，就把原內(nèi)容粘過來，之后會考慮做的更好看一些）~

1.CNN可視化研究（2022-10-22補檔）

一般來說我們認(rèn)為神經(jīng)網(wǎng)絡(luò)是黑盒 但是關(guān)于神經(jīng)網(wǎng)絡(luò)可解釋性的研究也一直在進(jìn)行 一般淺層網(wǎng)絡(luò)學(xué)習(xí)到的東西還好說，深層就比較抽象 這是10月10號的一篇關(guān)于CNN可視化的一篇新的研究論文。其實像圖1這樣的特征圖也是很早就在研究的，他告訴人們神經(jīng)網(wǎng)絡(luò)實質(zhì)上也在學(xué)一些東西，例如經(jīng)過訓(xùn)練它是會識別類似于眼睛之類的特征的 這篇論文是用語義概率空間來可視化CNN的，雖然沒仔細(xì)看，但估計最后出來圖2也是要先圖1然后再人為定義每個特征的名字的（神經(jīng)網(wǎng)絡(luò)可不會自己知道某某特征是眼睛） 為什么寫這個動態(tài)呢，主要是前不久看到AI畫吃拉面，產(chǎn)出了很多搞笑圖。

2.神經(jīng)網(wǎng)絡(luò)對抗策略——圍棋（2022-11-3補檔）

最近被公眾號推的好玩的東西真不少。 這篇論文很有意思，作者研發(fā)出了一個能夠輕松打敗很多市面上的圍棋AI卻打不過很多人類圍棋新手的AI。 其實這也不是什么新鮮事，之前談過很多的GAN（具體可以去看專欄）也是差不多的思路，一般我們稱讓AI判斷失誤的策略叫做對抗策略（這個術(shù)語不嚴(yán)謹(jǐn)，但應(yīng)該很好理解）。 對抗策略的經(jīng)典實例非常的多，例如視覺領(lǐng)域（在機器視覺領(lǐng)域?qū)共呗源_實比較泛濫）很早就用人對神經(jīng)網(wǎng)絡(luò)輸入一些人為噪聲讓CNN判斷失誤，GAN就是不讓人來，讓一個神經(jīng)網(wǎng)絡(luò)代替人來騙神經(jīng)網(wǎng)絡(luò)。我個人習(xí)慣用騙（可能是這樣說比較中二吧），術(shù)語一般是用對抗。 這篇論文用了一個并不大的神經(jīng)網(wǎng)絡(luò)來和市面上的圍棋AI做對抗，結(jié)果很快就可以戰(zhàn)勝這些圍棋AI，但是它卻打不過新手人類，這個現(xiàn)象很有意思，能說明的問題很多，例如它說明了神經(jīng)網(wǎng)絡(luò)確實過于“專才”，和人打的神經(jīng)網(wǎng)絡(luò)打不過專門挑神經(jīng)網(wǎng)絡(luò)打的神經(jīng)網(wǎng)絡(luò)，專門挑神經(jīng)網(wǎng)絡(luò)打的神經(jīng)網(wǎng)絡(luò)打不過人。

3.表格預(yù)訓(xùn)練小組（2022-11-18補檔）

什么？ML（機器學(xué)習(xí)）要文藝復(fù)興了？

PS：神經(jīng)網(wǎng)絡(luò)最開始研究的是表格數(shù)據(jù)，然而發(fā)展最好的確實CV（機器視覺）、NLP（自然語言處理）等，在表格領(lǐng)域反而是樹模型比較吃香，所以神經(jīng)網(wǎng)絡(luò)重回表格領(lǐng)域是一種文藝復(fù)興。

圖中是谷歌的一個表格領(lǐng)域預(yù)訓(xùn)練小組。

4.阿爾法Zero（國際象棋版本）的可解釋性研究（2022-11-22補檔）

DeepMind一篇比較新的文章，挺有意思的的 是關(guān)于神經(jīng)網(wǎng)絡(luò)可解釋性的研究，研究對象是老ALphaZero（國際象棋版本） 論文我就粗看了一下，大概是說我們是可以從ALphaZero中提取出一些類似于人類下棋中的一些概念的（例如“主教”） 果然現(xiàn)在流行用語義信息搞可解釋性嗎？除了這一點還研究了很多其他的，例如開局策略等。不過果不其然，研究也只是停留在前幾層，后面的層仍然解釋不了。

5.表格數(shù)據(jù)集（2022-11-28補檔）

在這篇論文中，作者搞了一個新的數(shù)據(jù)集，是表格領(lǐng)域的數(shù)據(jù)集。作者在摘要中就說明CV、NLP領(lǐng)域數(shù)據(jù)集發(fā)展很快，然而表格領(lǐng)域數(shù)據(jù)集發(fā)展較慢，于是就搞了這個數(shù)據(jù)集

其實去年表格領(lǐng)域仍然是很少有煉金術(shù)師（搞神經(jīng)網(wǎng)絡(luò)的）關(guān)注的冷門領(lǐng)域，而今年關(guān)于表格領(lǐng)域的神經(jīng)網(wǎng)絡(luò)研究真的像雨后春筍一樣冒了出來，從數(shù)據(jù)集到特征工程到機器學(xué)習(xí)都開始跟進(jìn)了，可以看出神經(jīng)網(wǎng)絡(luò)確實想搞文藝復(fù)興，去收復(fù)表格領(lǐng)域被樹模型征服的失地。 當(dāng)然，這很可能也是因為CV、NLP領(lǐng)域預(yù)訓(xùn)練取得了不錯的成果，開始反哺表格領(lǐng)域了（或者是這兩個領(lǐng)域研究趨于飽和導(dǎo)致人們將目光重新放回了表格）