【2023新書】深度學(xué)習(xí)中的可解釋性,486頁pdf
深度學(xué)習(xí)最新經(jīng)典好書!電子版已經(jīng)打包好!留言可免費獲??!

這本書可以作為深度學(xué)習(xí)中涵蓋最新主題的可解釋性的專題論文,也可以作為研究生的教科書。負責(zé)研究、開發(fā)和應(yīng)用的科學(xué)家從它的系統(tǒng)闡述中受益。
本書的動機是深度學(xué)習(xí)架構(gòu)的黑箱性質(zhì)與其編碼的知識模型的人類可解釋性之間的巨大差距。人工智能模型的準(zhǔn)確性和可理解性對于人工智能和人類智能的共存和協(xié)作變得越來越重要。在某些危及生命的應(yīng)用中,可解釋性對于根本原因分析和人類決策至關(guān)重要。本書側(cè)重于對深度學(xué)習(xí)模型可解釋性的最新研究工具進行全面的策劃、闡述和說明性討論,重點是神經(jīng)網(wǎng)絡(luò)架構(gòu)。其中很大一部分工作補充了現(xiàn)有的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)教科書,并以過去十年的工作為基礎(chǔ),其中重點是網(wǎng)絡(luò)中編碼的知識的可視化和可解釋性。這些工作來自計算機視覺、模式識別和深度學(xué)習(xí)領(lǐng)域的領(lǐng)先會議和期刊。此外,還包括來自不同領(lǐng)域的面向應(yīng)用文章的幾個案例研究,包括計算機視覺、光學(xué)和自然語言處理。在目前與深度學(xué)習(xí)、機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相關(guān)的研究生課程中,缺乏處理可解釋性主題的教學(xué)材料。這主要是因為機器學(xué)習(xí)社區(qū)之前的重點是精度,而可解釋性的問題是一個新興的話題。然而,隨著書籍[81]、[428]、課堂講稿[532]、新課程以及觀點[520]的出版,它作為越來越相關(guān)的主題正在獲得吸引力。然而,這些工作中對通用機器學(xué)習(xí)的關(guān)注意味著,深度學(xué)習(xí)中的可解釋性問題目前仍然沒有得到足夠的深度解決,深度學(xué)習(xí)現(xiàn)在在各種機器學(xué)習(xí)應(yīng)用中廣泛使用。因此,這本教科書將是致力于這一主題的先驅(qū)教科書之一。這可能會導(dǎo)致設(shè)立關(guān)于這一主題的專門研究生課程,因為人們認(rèn)為需要這類課程,但缺乏關(guān)于這一主題的有組織的材料是一個突出的障礙。
在第一章中,我們介紹了本書的背景和動機,幫助讀者設(shè)定對本書的期望并理解材料的范圍。我們還通過總結(jié)深度學(xué)習(xí)的演變提供了一個簡短的歷史。在此過程中,我們也闡明了這種演變?nèi)绾螌?dǎo)致知識抽象化的增加,從而形成了眾所周知的黑箱模型,它編碼了知識但并未解釋知識。我們自然地將這個討論引向可解釋性的問題,確定了其必要性以及所面臨的挑戰(zhàn)。我們也澄清了本書的重點是解決現(xiàn)有深度學(xué)習(xí)架構(gòu)中的可解釋性,而將新的天然可解釋的深度學(xué)習(xí)架構(gòu)的設(shè)計主題委托給最后一章的一個小節(jié)(并可能在未來的本書第二卷中)。
在第二章中,我們介紹了深度學(xué)習(xí)的各種現(xiàn)代主題,包括傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)、學(xué)習(xí)機制以及深度學(xué)習(xí)的挑戰(zhàn)。本章的目標(biāo)是介紹背景概念并為后續(xù)章節(jié)的技術(shù)闡述做準(zhǔn)備。特別地,我們將會覆蓋卷積神經(jīng)網(wǎng)絡(luò)、自編碼器、對抗神經(jīng)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)和神經(jīng)模糊網(wǎng)絡(luò),因為在接下來的章節(jié)中將詳細探討這些范式的可解釋性機制。同樣,具體的學(xué)習(xí)機制將會被解釋,以便在后續(xù)章節(jié)中識別可解釋性的損失或機會。出于全面性的考慮,我們還將包含一節(jié)關(guān)于其他類型的深度學(xué)習(xí)方法,即使在其他章節(jié)中并未詳述它們的可解釋性。
在第三章中,我們開始全面處理可解釋性。具體來說,我們在深度學(xué)習(xí)方法的一般特性的背景下討論可解釋性的概念。我們從討論神經(jīng)元和特征級別的抽象知識編碼開始,然后討論抽象編碼的可解釋性和可視化。從理解概念、優(yōu)點和缺點的角度出發(fā),我們討論了諸如激活圖、顯著性、注意力模型等常規(guī)技術(shù)。然后,我們分析了在優(yōu)化或?qū)W習(xí)過程中知識如何傳播,作為深入了解如何解釋使用深度學(xué)習(xí)模型學(xué)習(xí)的知識的挑戰(zhàn)和機會。神經(jīng)網(wǎng)絡(luò)通過連續(xù)的非線性激活提取特征,這使得知識表示變得困難,同時對噪聲和不完整數(shù)據(jù)區(qū)域敏感。我們使用一個案例研究討論了知識與性能的關(guān)系。最后,我們討論了深度編碼與淺層編碼的解釋,這兩者的性能存在競爭。因此,本章涵蓋了一系列普遍適用于任何深度學(xué)習(xí)架構(gòu)的可解釋性主題。
第四章專門介紹針對特定單一架構(gòu)的可解釋性方法。本章選擇的架構(gòu)有卷積神經(jīng)網(wǎng)絡(luò)、自編碼器網(wǎng)絡(luò)、對抗網(wǎng)絡(luò)和圖學(xué)習(xí)技術(shù)。我們包括了與這些架構(gòu)相關(guān)的相對較新的主題,例如卷積神經(jīng)網(wǎng)絡(luò)的新概念“卷積追蹤”,自編碼器網(wǎng)絡(luò)潛在空間中抽象特征的可解釋性,對抗網(wǎng)絡(luò)中判別模型的可解釋性,以及圖神經(jīng)網(wǎng)絡(luò)的圖嵌入解釋性。我們?yōu)槊糠N架構(gòu)給出了至少一個案例研究,包括來自各種應(yīng)用領(lǐng)域的案例。我們也簡要地參考了注意力網(wǎng)絡(luò),這種網(wǎng)絡(luò)在設(shè)計中固有地包含了某種可解釋性。
第五章專門討論模糊深度學(xué)習(xí)。這種方法與以神經(jīng)網(wǎng)絡(luò)為中心的深度學(xué)習(xí)略有不同,因為模糊邏輯和基于規(guī)則的推理是這類網(wǎng)絡(luò)設(shè)計的核心。對解釋的需求導(dǎo)致了對基于規(guī)則的系統(tǒng)的再度關(guān)注。這也是一個被獨立研究的主題,很少在深度學(xué)習(xí)和可解釋性的特定背景下研究。我們通過闡述模糊深度學(xué)習(xí)的主題和相關(guān)的.


