NTT Research科學家為解決機器學習耗電問題提供新解決方案

(圖片來源:網(wǎng)絡)
?
近日,日本NTT的子公司NTT Research和康奈爾大學聯(lián)合宣布,雙方科學家聯(lián)合研發(fā)出了一種算法,該算法將深度神經(jīng)網(wǎng)絡訓練應用于可控物理系統(tǒng),并在三種非常規(guī)硬件上進行了展示。該團隊在《Nature》雜志上發(fā)表了一篇題為《用反向傳播訓練的深度物理神經(jīng)網(wǎng)絡》的論文,詳細闡釋了他們的研究發(fā)現(xiàn)。
?
該論文的主要作者有Logan Wright和Tatsuhiro Onodera。兩人都是NTT Research Physics and Informatics(PHI)實驗室的研究科學家以及在康奈爾大學應用與工程物理學院實驗室訪問的NTT Research科學家。該項目的負責人、康奈爾大學應用與工程物理學助理教授Peter McMahon(彼得·麥克馬洪)是本文的另外五位合著者之一,根據(jù)該論文描述,他們提供了一種不受現(xiàn)有能源控制和其他可擴展性條件限制的深度學習方法。
?
物理神經(jīng)網(wǎng)絡算法是“捷徑”
?
我們知道,深度學習是一種具有多層互連節(jié)點的神經(jīng)網(wǎng)絡,也是人工智能的一個子集,現(xiàn)已普遍存在于科學工程中。為了訓練深度學習執(zhí)行一些數(shù)學功能,例如圖像識別,用戶們通常采用一種稱為反向傳播(“誤差反向傳播法”的縮寫)的訓練方法。截至目前,該訓練算法已通過數(shù)字電子設備實現(xiàn)。但隨著現(xiàn)有深度學習模型的計算需求激增以及摩爾定律的失效,科學家們正試圖提高深度神經(jīng)網(wǎng)絡的計算效率和速度。
?
Logan Wright博士表示:“反向傳播算法是指一系列數(shù)學運算,它本質(zhì)上沒有什么數(shù)字化組成部分,僅僅是碰巧在數(shù)字電子硬件上運行。我們所做的是找到一種方法來獲取這個數(shù)學訓練秘訣,并將其轉(zhuǎn)化為物理訓練。”
?
該團隊將經(jīng)過訓練的系統(tǒng)命名為物理神經(jīng)網(wǎng)絡(PNN),著重強調(diào)了該方法是直接訓練物理系統(tǒng),而不是像傳統(tǒng)路線那樣,先訓練數(shù)學函數(shù)然后再設計物理過程來執(zhí)行。Logan Wright博士講道,“這種直接訓練物理系統(tǒng)的‘捷徑’,有助于PNN通過學習物理算法(能夠自動使用物理計算的能力),能更容易地從非常規(guī)但具有強大潛力的物理基底(如非線性光子學)中提取計算性能?!?/p>
?
在該論文中,作者將這種新算法命名為物理感知訓練(PAT),并將新的算法應用到了幾個可控物理系統(tǒng)。其中一個實驗具體過程為:將簡單的聲音(如元音)和各種參數(shù)編碼到激光脈沖的頻譜中,以構(gòu)建一個深度PNN,并通過將光學變換的輸出作為后續(xù)的輸入來“分層”進行PAT訓練。實驗結(jié)果表明,該光學系統(tǒng)以93%的準確率完成了對元音進行測試分類的任務。
?
物理感知訓練的三套系統(tǒng)驗證
?
為了證明該方法的普適性,研究人員們又訓練了三套物理應用系統(tǒng)用以執(zhí)行更復雜的圖像分類任務。他們再次使用了光學系統(tǒng),不過展示的是混合(數(shù)字物理類)PNN。此外,他們還設置了機械電子類PNN進行測試。基于光學、電子和機械技術訓練的PNN,執(zhí)行任務的準確度分別達到了97%、93%和87%。考慮到這些系統(tǒng)的簡單性,作者認為這些結(jié)果有價值。

?
該研究小組預測,通過使用與傳統(tǒng)數(shù)字電子產(chǎn)品截然不同的物理系統(tǒng),機器學習能夠更快、更節(jié)能地執(zhí)行訓練任務。或者,將這些PNN作為功能性機器學習用以處理普通數(shù)字之外的數(shù)據(jù),助力其在機器人技術、智能傳感器、納米粒子等領域中發(fā)揮潛在用途。
?
NTT Research PHI實驗室主任Yoshihisa Yamamoto表示:“這篇文章給出了一個解決機器學習耗電問題的強大的解決方案。Wright、Onodera等同事的研究通過將物理系統(tǒng)和反向傳播相結(jié)合,從理論上證明了該方法的有效性,并且適用于一系列有趣場景。未來,進一步探索哪些物理系統(tǒng)最適合執(zhí)行機器學習計算將是一項令人興奮的任務。”
?
該論文是兩個實驗室的目標研究成果之一。NTT Research PHI實驗室的使命是“從神經(jīng)網(wǎng)絡中的關鍵現(xiàn)象原理重新思考計算機”,目前該實驗室的一大重點是制備相干伊辛機(Coherent Ising Machine,CIM),一種采用光量子的耗散式架構(gòu)的量子計算機。與超導、離子阱等使用邏輯門計算架構(gòu)的其他技術路線相比,CIM采用量子失諧而不是量子糾纏作為計算資源,更加類似于人腦神經(jīng)突觸的工作模式,天然更適合于形成超大規(guī)模的量子神經(jīng)網(wǎng)絡,對環(huán)境噪聲和錯誤有很強的抵抗力。
?
與此同時,康奈爾大學McMahon教授實驗室正與NTT Research PHI實驗室合作開展CIM研究,致力于解決“如何設計新式物理系統(tǒng)執(zhí)行計算”的問題。
?
該論文的其他四位合著者中,Martin M. Stein博士、Mong博士后研究員王天宇,都是McMahon實驗室的成員,而Zoey Hu和Darren Schachter是作為康奈爾大學的本科生在2020-2021年參與該研究,Zoey Hu還曾于2021年夏天在NTT Research實習。
?
除康奈爾大學外,NTT Research PHI實驗室還與九所大學達成了聯(lián)合研究。其中包括加州理工大學、哈佛大學、麻省理工學院、圣母大學、斯坦福大學、斯威本科技大學、東京工業(yè)大學、密歇根大學和東京大學。位于硅谷的美國宇航局艾姆斯研究中心和私人量子計算軟件公司1QBit也與NTT Research PHI實驗室簽訂了聯(lián)合研究協(xié)議。
?
關于NTT Research
?
NTT Research隸屬于 NTT集團,成立于2019年7月,是一家全球技術和商業(yè)解決方案提供商,每年的研發(fā)預算達 36 億美元。作為一家硅谷科創(chuàng)公司,NTT Research致力于開展基礎研究和推進人類社會積極變革的新技術研究。目前,NTT Research在美國硅谷桑尼維爾共有三個實驗室?:物理和信息學 (PHI) 實驗室、密碼學和信息安全 (CIS) 實驗室以及醫(yī)療和健康信息學 (MEI) 實驗室。
?
原文鏈接:
http://us.acrofan.com/detail.php?number=608389&UA=PC
文:businesswire編譯:李每編輯:慕一
注:本文編譯自“?businesswire”,不代表量子前哨觀點。
?