導(dǎo)讀

華南理工大學(xué)土木學(xué)科海外學(xué)者前沿講座第六十七期，我們邀請到來自香港科技大學(xué)，土木及環(huán)境工程學(xué)系的助理教授于言滔為大家?guī)眍}為“基于多模態(tài)數(shù)據(jù)的人本智能建造方法”的報告。本期講座錄播鏈接見文末或點(diǎn)擊閱讀原文。

由于工作時間長、工作負(fù)荷大以及工作環(huán)境惡劣等原因，建筑工人的疲勞現(xiàn)象普遍存在，埋下安全與健康隱患。此外，受人口老齡化以及青年人擇業(yè)偏好的影響，我國建筑業(yè)將面臨嚴(yán)峻的勞動力短缺和老齡化風(fēng)險。因此，建筑業(yè)勞動力的可持續(xù)發(fā)展成為一項重要課題。針對上述問題，于老師從工人行為感知和人機(jī)協(xié)作兩個方面對此前的相關(guān)工作進(jìn)行了介紹。

01

首先，于老師介紹了基于計算機(jī)視覺技術(shù)和壓力傳感器來評價工人的生理疲勞的工作。建筑工人長期從事高強(qiáng)度的體力作業(yè)，同時人口老齡化帶來的勞動力缺失，因此如何提升現(xiàn)場工人的工作效率并降低受傷風(fēng)險成為了一個關(guān)鍵問題，其中首要的就是對勞動者的體力疲勞程度進(jìn)行評估。目前疲勞評價指標(biāo)和數(shù)據(jù)采集方法還不夠完善，因此于老師的研究工作主要圍繞這兩方面展開。整評估流程有4個步驟，首先通過計算機(jī)視覺技術(shù)采集工人的三維姿態(tài)數(shù)據(jù)，然后使用鞋底傳感器來進(jìn)行外力估算，接下來基于姿態(tài)和外力數(shù)據(jù)來計算關(guān)節(jié)受力情況，最終從生物力學(xué)角度對人體疲勞程度進(jìn)行評價。

在姿態(tài)采集方面，相比于其他方法，基于IMU的采集方法無需布設(shè)大量攝像頭，因此更適用于施工現(xiàn)場的姿態(tài)采集。在對得到大量的姿態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)投影后，構(gòu)建了包含約68000條姿態(tài)數(shù)據(jù)庫。然后通過建立深度學(xué)習(xí)網(wǎng)絡(luò)來實(shí)現(xiàn)二維數(shù)據(jù)到三維數(shù)據(jù)的推理，以每一幀推理得到的三維關(guān)節(jié)數(shù)據(jù)的距離誤差平均值作為評價指標(biāo)，通過模型訓(xùn)練實(shí)現(xiàn)了三維數(shù)據(jù)的實(shí)時推算。

于老師采用鞋墊型壓力傳感器采集工人足底的壓力分布進(jìn)行外力估計，并開展試驗(yàn)證明了這種外力測量方法在施工現(xiàn)場的有效性?；谒鶞y得的外力數(shù)據(jù)和姿態(tài)數(shù)據(jù)，可以推算工人關(guān)節(jié)所受的力矩。除了當(dāng)前關(guān)節(jié)所受的力矩，根據(jù)工人的年齡、性別、身高和體重，可通過一個大數(shù)據(jù)樣本公式估算工人關(guān)節(jié)所能承受的最大力，繼而開展疲勞評價。在生物力學(xué)中，將肌肉或關(guān)節(jié)能承受的最大力的下降定義為肌肉疲勞，于老師根據(jù)這種定義的方法，進(jìn)行肌肉疲勞的評價。

于老師進(jìn)而開展實(shí)驗(yàn)室試驗(yàn)驗(yàn)證體力疲勞評價方法的準(zhǔn)確性，現(xiàn)場試驗(yàn)驗(yàn)證方法的可行性。將所提出的方法與心率的評價方法進(jìn)行對比，驗(yàn)證所提出方法是否能反映出體力疲勞的變化。根據(jù)搬運(yùn)試驗(yàn)的結(jié)果，可以看出心率的變化曲線與所提出評價方法得到的曲線基本吻合?，F(xiàn)場試驗(yàn)的任務(wù)包括搭腳手架和砌筑，基于現(xiàn)場的攝像頭和鞋墊壓力傳感器，分析得到工人各個關(guān)節(jié)疲勞評價的數(shù)據(jù)，結(jié)果表明于老師所提出的方法能夠?qū)Σ煌年P(guān)節(jié)進(jìn)行持續(xù)的疲勞評估。

隨后，進(jìn)行基于疲勞評估的現(xiàn)場管理試驗(yàn)，驗(yàn)證施工現(xiàn)場的布置對肌肉疲勞評估的影響，在搭建腳手架的任務(wù)中，調(diào)整工作區(qū)域和材料存儲區(qū)域的距離，疲勞程度會隨著距離的調(diào)整出現(xiàn)變化。砌筑任務(wù)的現(xiàn)場試驗(yàn)也驗(yàn)證了休息時間規(guī)劃和疲勞程度的關(guān)系。

于老師開展的關(guān)于疲勞評價的研究，旨在提出適用于現(xiàn)場施工數(shù)據(jù)采集方法的可量化個性化指標(biāo)，驗(yàn)證該方法的有效性和準(zhǔn)確性。基于試驗(yàn)結(jié)果，證明所提出的方法是有效的，該方法基于工人真正的施工數(shù)據(jù)和身高年齡等進(jìn)行疲勞評估，具有一定的個性化；其次，該方法對工人的工作節(jié)奏沒有要求，適用于施工這種非規(guī)律性工作，評價指標(biāo)是量化的；另外，該方法提供了新型的施工數(shù)據(jù)，如工人比較準(zhǔn)確和持續(xù)的三維姿態(tài)數(shù)據(jù)、工人的足底壓力分布、工人的姿態(tài)受力等。最后，于老師也指出，該研究存在一定的缺陷，如數(shù)據(jù)樣本較少、攝像機(jī)角度的限制、研究存在假設(shè)等。針對以上缺陷，于老師將在未來的研究方向上進(jìn)行進(jìn)一步的探索。

02

為解決建筑業(yè)、勞動市場可持續(xù)發(fā)展問題，提高工人職業(yè)健康水平和減輕工人勞動負(fù)荷，利用機(jī)器人進(jìn)行智能建造可以實(shí)現(xiàn)高危作業(yè)、無疲勞問題、精度高和效率快的目標(biāo)，但目前建筑機(jī)器人的作業(yè)類型單一，不能應(yīng)對復(fù)雜動態(tài)施工環(huán)境。一個可行的思路是：人機(jī)協(xié)作能充分發(fā)揮機(jī)器人與人的優(yōu)勢，同時緩解當(dāng)前土建行業(yè)從事人員面臨的諸多挑戰(zhàn)。因此于老師希望開發(fā)一種建筑人機(jī)交互模式，機(jī)器人能夠預(yù)知工人作業(yè)的需求，在動態(tài)復(fù)雜施工過程中能夠與工人自然地、順滑地進(jìn)行協(xié)同合作。建立這樣的人機(jī)交互施工框架需要包括4個模塊：感知任務(wù)Sensing 、學(xué)習(xí)動作Learning、推斷決策Inferring和協(xié)同合作Doing。其中Learning和Inferring兩個部分面臨著很大的挑戰(zhàn)，因?yàn)榻ㄖI(yè)施工知識很難定義，施工工人的差異化和復(fù)雜動作難以被理解。

首先，需要明確的是人機(jī)溝通的傳感方式，相比于傳統(tǒng)的物理信號控制和語音傳遞模式的效率低和易受干擾的缺點(diǎn)，視覺傳感具有明顯的優(yōu)勢，因?yàn)槟壳耙曈X處理的人工智能方法非常成熟，以及視頻路徑可以給機(jī)器人提供豐富的學(xué)習(xí)數(shù)據(jù)。目前基于視覺的識別方法，可以被大致分類為基于數(shù)據(jù)和基于知識的；前者需要大量學(xué)習(xí)數(shù)據(jù)、泛化能力不穩(wěn)定，后者依賴規(guī)則定義、搜索空間??；而將二者結(jié)合起來，一方面可以使機(jī)器人對施工數(shù)據(jù)的多樣性有適應(yīng)能力，另一方面可以利用先驗(yàn)知識縮小對觀測數(shù)據(jù)的需求。其次，為了構(gòu)建任務(wù)表示模型，可以選擇扁平Flat模型和層級Hierarchical模型，后者更適于表示動態(tài)復(fù)雜建造任務(wù)，同時更契合施工管理模式。因此，于老師他們基于數(shù)據(jù)和知識雙驅(qū)動方法建立了多層次任務(wù)原始學(xué)習(xí)-任務(wù)知識感知合作-行為預(yù)測的統(tǒng)一框架，并進(jìn)行了搭建施工腳手架任務(wù)的試驗(yàn)，因?yàn)樵撌┕げ僮魇堑湫托枰喙と撕献鞯膱鼍啊⒋罱_手架任務(wù)劃分為4個層次的子任務(wù)，構(gòu)建多層次任務(wù)原始學(xué)習(xí)模型來識別多層次目標(biāo)，進(jìn)一步通過多層次網(wǎng)絡(luò)的約束來修正識別誤差，包括自上而下、自下而上、時序關(guān)系和區(qū)間約束；對于行為預(yù)測，則是采用貝葉斯原理和隱馬爾可夫鏈通過先驗(yàn)和當(dāng)前證據(jù)進(jìn)行推斷。最后，在試驗(yàn)中學(xué)習(xí)一個搭建腳手架的視頻，于老師的數(shù)據(jù)和施工知識雙驅(qū)動模型表現(xiàn)了很高的多層次任務(wù)識別準(zhǔn)確度，這項研究也將進(jìn)一步通過現(xiàn)場試驗(yàn)驗(yàn)證和發(fā)展。

總結(jié)

于老師從人本智能建造方法入手，探索了在勞動力資源緊張的當(dāng)下建筑業(yè)如何實(shí)現(xiàn)可持續(xù)發(fā)展，具有很強(qiáng)的前瞻性。同時，計算機(jī)視覺技術(shù)、人工智能與生物力學(xué)的融合也為建筑工程背景下的學(xué)科交叉研究提供了新的思考方向。

END

更多內(nèi)容請到于老師主頁查看：

https://seng.hkust.edu.hk/about/people/faculty/yantao-yu

講座錄播鏈接：https://b23.tv/nPkGuQe

來源于多樣化結(jié)構(gòu)實(shí)驗(yàn)室VSL

排版 | 李嘉晨

審核 | 胡? ?楠