內(nèi)容一覽：材料檢測在工程、科學及制造業(yè)中扮演著至關(guān)重要的角色。傳統(tǒng)的材料檢測方法，例如切割和化學試劑檢測具有破壞性，同時較為耗費時間和資源。近期，MIT 科學家利用深度學習開發(fā)了一種技術(shù)，能夠填補缺失信息，并進一步通過表面觀察確定材料的內(nèi)部結(jié)構(gòu)。
關(guān)鍵詞：深度學習 材料檢測 CNN

作者｜daserney

編輯｜三羊

本文首發(fā)于 HyperAI 超神經(jīng)微信公眾平臺~

在數(shù)據(jù)處理時，經(jīng)常遇到一種挑戰(zhàn)，即從模糊的圖像或部分信息中復原完整的圖像。這種挑戰(zhàn)被稱為「逆問題」(inverse problem)，它不僅在醫(yī)學診斷中普遍存在，也在材料科學中頻繁出現(xiàn)。如果我們能夠有效地填補這些缺失的信息，就有可能更全面、更準確地理解生物組織或材料的性質(zhì)，從而做出更精確的決策。

如何無損檢測材料內(nèi)部的組織結(jié)構(gòu)困擾著許多相關(guān)從業(yè)人員。無損檢測指利用現(xiàn)代化技術(shù)和設備，在不損害或影響材料內(nèi)部組織和使用性能的前提下，檢測材料內(nèi)部結(jié)構(gòu)。雖然可以通過使用 X 射線等技術(shù)進行檢測，但這些方法通常較為昂貴，并且需要龐大的設備。

為此，MIT (麻省理工學院) 的中國博士生楊鎮(zhèn)澤及 Markus Buehler 教授結(jié)合多種深度學習架構(gòu)，在 2D 和 3D 的情況下，分別通過有限的信息恢復材料中的缺失部分，并進一步表征微觀結(jié)構(gòu)。

目前，該研究成果已發(fā)表在《Advanced Materials》期刊上，標題為「Fill in the Blank: Transferrable Deep Learning Approaches to Recover Missing Physical Field Information」。

論文地址：

https://onlinelibrary.wiley.com/doi/full/10.1002/adma.202301449

實驗概述：模型組合進行「填空解謎」

下圖展示了該研究的總體示意圖。在左邊的圖中，灰色立方體為缺失的部分。在 2D 和 3D 情況下，分別有兩個 AI 模型組合執(zhí)行任務。研究人員訓練第一個 AI 模型「填補空白」，從 masked field 中恢復 complete field，訓練第二個 AI 模型「解謎」，將恢復的 complete field 作為輸入，反向獲得復合材料對應的微觀結(jié)構(gòu) (Microstructure)。

在 2D 情況下，研究人員創(chuàng)建了對稱的 8×8 網(wǎng)格，用于構(gòu)建復合材料的幾何形狀（共 232 種可能的幾何形狀）。隨后，隨機生成了 1,000 種不同的復合材料微觀結(jié)構(gòu)用于單軸拉伸測試 (uniaxial tensile test)。

在 3D 情況下，研究人員利用 2×4×4 網(wǎng)格創(chuàng)建了兩層微觀結(jié)構(gòu)（共 232 種可能的幾何形狀），并使用 4×4×4 網(wǎng)格構(gòu)建了 4 層復合材料（共 264 種可能的幾何形狀）。為了使可能幾何形狀的數(shù)量與 2D 情況相同，研究人員選擇了 2×4×4 網(wǎng)格作為基準，并隨機生成了 2,000 種不同的幾何形狀用于 FEA 計算。

數(shù)據(jù)的可視化及預處理

在 2D 情況下，通過使用 Abaqus 可視化工具，研究人員生成了從 FEA 中得到的應變和應力場圖像，并使用白色和紅色的條塊進行表示。接著，通過 Python 預處理，進行剪切、調(diào)整大小和重新著色。預處理后的圖像尺寸為 256×256。在復合材料幾何圖或微觀結(jié)構(gòu)中，紅色塊代表柔軟材料，而白色塊代表剛性材料。研究人員引入了規(guī)則和不規(guī)則形狀的掩碼，規(guī)則掩碼是方形形狀，大小從 96-128 不等。

在 3D 情況下，研究人員收集了每個單元的應變和應力值 (strain and stress values)，然后對其進行了歸一化，形成一個 16×32×32×1 的矩陣。與 2D 情況類似，使用 Python 代碼可視化應變和應力場的等值線。將一系列 field 圖像存儲在一個 16×32×32×3 的矩陣中，用作訓練和測試深度學習模型的數(shù)據(jù)表示形式。相應的 3D 復合材料微觀結(jié)構(gòu)可視化通過 Matplotlib 庫進行體積繪制。

模型選擇：GAN + ViViT + CNN

本研究采用了多種深度學習模型，包括生成對抗網(wǎng)絡?(GAN)、基于 Transformer 的 ViViT 模型及卷積神經(jīng)網(wǎng)絡 (CNN)。

• GAN:?在填補 2D 圖像階段，研究人員使用了 GAN 模型，該模型被稱為 DeepFill 模型的第二版本，可以進行自由形式的圖像修復。

• ViViT:?在 3D 情況下，研究人員使用基于 Transformer 架構(gòu)的 ViViT 模型進行填補空白。

• CNN:?在獲得 complete field 后，2D 和 3D 情況下皆采用了 CNN 模型，以建立從力學行為到復合材料微觀結(jié)構(gòu)的逆向鏈接。

實驗結(jié)果：ViViT + CNN 實現(xiàn)完美預測

2D 情況

為了獲得預測誤差，研究人員繪制了預測應力平均值與掩碼區(qū)域內(nèi)實際值的散點圖。掩碼的形狀隨機生成。如下圖 c 所示，給定 200 個測試數(shù)據(jù)的 R2 指標達到 0.998，表明 GAN 模型性能出色。

c: GAN 模型在填補圖像上的表現(xiàn)。Ground truth 與預測值顯示出很高的一致性 (R2 = 0.998)。

d: CNN 模型進行幾何識別的性能。圖中顯示了 ground truth 與預測結(jié)果之間的 geometry difference 分布。

此外，研究人員通過計算 geometry difference 來評估 CNN 模型在幾何識別方面的性能。geometry difference 是真實序列和預測序列之間不同材料塊的數(shù)量。如圖 2d 所示，大多數(shù)預測序列與實際序列相同，所有 200 個測試數(shù)據(jù)中的最大 geometry difference 為 0.0625，32 個塊 (block) 中有兩個不同。如果恢復的 field 圖像不準確，幾何誤差會增加。因此，CNN 模型的精確預測進一步驗證了 GAN 模型的高性能。

3D 情況

在實際工程實踐中，3D 復合材料微觀結(jié)構(gòu)通常比 2D 情況更加復雜。下圖展示了 8 個預測的 field frames 與 ground truth 的對比。結(jié)果顯示，改進后的 ViViT 模型能夠利用復合材料中的一層（第 1 至第 8 幀）的 mechanical fields，對另一層（第 9 至第 16 幀）的 field 進行準確預測。

圖 4 顯示了所有 200 個測試數(shù)據(jù)的第 9 至第 16 幀的均方誤差 (MSE)。每個數(shù)據(jù)點的 MSE 是通過計算預測的 field maps 和真實值之間像素值平方差的平均值得到的。8 個預測幀的整體 MSE 都很低，全部幀的平均 MSE 都低于 0.001，顯示了 ViViT 模型的出色性能。

均方誤差 (Mean Squared Error, MSE) 是一種常用的評估預測模型準確性的指標。在預測過程中， MSE 用于度量預測值與真實值之間的差異程度。MSE 值越小，表示預測模型的準確性越高。

通過預測的 field frame，可以利用完整的 3D mechanical fields 來確定復合材料的微觀結(jié)構(gòu)。與 2D 情況類似，研究人員使用 CNN 模型來進行預測。如圖 4 右上方小圖所示，geometry difference 為 0，通過將改進后的 ViViT 模型與 CNN 模型相結(jié)合，能夠?qū)崿F(xiàn)對內(nèi)部 3D 微觀結(jié)構(gòu)的精確識別，其中大多數(shù)幾何形狀得到了完美預測。

LAMM 實驗室：鏈接材料結(jié)構(gòu)與功能

該研究為 MIT 的中國博士生楊鎮(zhèn)澤及 Markus Buehler 教授共同完成。楊鎮(zhèn)澤是 MIT 的博士生，在 MIT 原子和分子力學實驗室 (LAMM) 工作。研究興趣包括將機器學習和深度學習技術(shù)與多尺度模擬方法相結(jié)合，以加速復合材料、納米材料和生物材料等各種材料的性能計算和設計。在此之前，楊鎮(zhèn)澤獲得了中國科學院大學的物理學學士學位。

楊鎮(zhèn)澤個人網(wǎng)站：

https://www.zhenzeyang.com/

實驗室地址：

http://lamm.mit.edu/

通訊作者 Markus Buehler 是 LAMM 的主要研究員。Markus Buehler 學術(shù)研究引用率很高，在計算材料科學、生物材料和納米技術(shù)等方面發(fā)表了 450 多篇文章。他的目標之一是利用音樂和聲音設計，結(jié)合人工智能，以一種抽象的方式從底層開始模擬、優(yōu)化和創(chuàng)造新形式的自治物質(zhì) (autonomous matter)，跨越尺度（例如從納米到宏觀）和物種（例如從人類到蜘蛛）。

LAMM 致力于開發(fā)一種新范式，從分子尺度開始設計材料。結(jié)合結(jié)構(gòu)工程、材料科學和生物學的概念，LAMM 將基本的原子尺度化學結(jié)構(gòu)與功能尺度相連接，通過理解生物材料如何形成層次結(jié)構(gòu)，實現(xiàn)優(yōu)越的力學性能，將結(jié)構(gòu)和功能的概念融合在一起。

參考鏈接：

[1]https://zhuanlan.zhihu.com/p/632154023

[2]https://scitechdaily.com/mits-ai-system-reveals-internal-structure-of-materials-from-surface-observations/?expand_article=1

[3]https://professional.mit.edu/programs/faculty-profiles/markus-j-buehler

本文首發(fā)于 HyperAI 超神經(jīng)微信公眾平臺~