PIE-Engine實(shí)踐篇：詳解去云操作(一)
? ??PIE-Engine是基于容器云技術(shù)構(gòu)建的面向地球科學(xué)領(lǐng)域的時(shí)空遙感云平臺(tái)，其內(nèi)部包含自動(dòng)管理的彈性大數(shù)據(jù)環(huán)境，集成了多源遙感數(shù)據(jù)處理、分布式資源調(diào)度、實(shí)時(shí)計(jì)算、批量計(jì)算和深度學(xué)習(xí)框架等技術(shù)。PIE-Engine遙感計(jì)算云服務(wù)平臺(tái)結(jié)合了海量遙感數(shù)據(jù)及計(jì)算資源，通過(guò)簡(jiǎn)單的代碼即可快速實(shí)現(xiàn)復(fù)雜的影像運(yùn)算，為地球科學(xué)領(lǐng)域的研究提供開(kāi)放的數(shù)據(jù)與彈性算力支持。
? ?常見(jiàn)的遙感影像如MODIS、Landsat、Sentinel-2等，在使用這些數(shù)據(jù)時(shí)，由于云、雪、陰影等的存在會(huì)導(dǎo)致影像運(yùn)算時(shí)出現(xiàn)偏差，因此需要做去云操作。在PIE-Engine 遙感計(jì)算云服務(wù)平臺(tái)中實(shí)現(xiàn)去云操作比較簡(jiǎn)單，可以在影像級(jí)別篩選含云量符合條件的影像，也可以在像素級(jí)別掩膜掉有云的像素，下面分別介紹。
影像級(jí)別去云
? ?影像級(jí)別去云就是通過(guò)云量覆蓋百分比屬性篩選影像含云量，對(duì)于Landsat 8 TOA系列，云量覆蓋百分比屬性表示為“cloudCover”，可據(jù)此篩選出影像整體含云量在某個(gè)范圍內(nèi)的影像。
? ?以“cloudCover”屬性篩選Landsat TOA影像含云量，代碼如下：
? ?在對(duì)特定日期、特定的區(qū)域的影像進(jìn)行云量篩選之前，共有9景符合條件的影像，含云量分別為0.04%、7.72%、5.54%、52.25%、3.37%、14.67%、10.26%、96.19%和13.13%，增加含云量≤5%的篩選條件后（lte: less than and equal），只有兩景影像符合條件，含云量分別為0.04%和3.37%。
? ?注意，不同影像集合，其云量覆蓋百分比屬性字段的表示不完全一樣，如Landsat 8 C2 SR 影像集合，其云量覆蓋百分比屬性以“cloud_cover”表示，使用時(shí)應(yīng)具體查看。
像素級(jí)別去云
? ?像素級(jí)別去云方式主要有兩種：一種是使用QA質(zhì)量波段去云；另一種是使用算法去云，下面分別進(jìn)行介紹。
1. 通過(guò)QA波段做按位與操作掩膜掉有云的像素
? ?一些影像提供了QA波段來(lái)表示該影像的質(zhì)量相關(guān)信息，如Landsat 8 TOA的“BQA”波段，其各比特位的含義如下表所示：
? ?注意，不同影像集合，其QA波段的表示不完全一樣，如Landsat 8 C1 SR的QA波段表示為“pixel_qa”，而Landsat 8 C2 SR的QA波段表示為“QA_PIXEL”，且不同影像集合QA波段的各比特位含義也不相同，使用時(shí)應(yīng)具體查看。
? ?了解了不同影像QA波段的比特位信息，下面我們介紹去云時(shí)用到的兩個(gè)主要操作：
? ?（1）bitwiseAnd：Image按位與運(yùn)算，返回一個(gè)Image對(duì)象。核心是對(duì)二進(jìn)制像素值做按位與運(yùn)算（&），即相同為1，相異為0。
? ?（2）位移運(yùn)算符：(左移<<、右移>>)，其中左移運(yùn)算符(<<) 是按二進(jìn)制形式把所有的數(shù)字向左移動(dòng)對(duì)應(yīng)的位數(shù)，高位移出(舍棄)，低位的空位補(bǔ)0。例如1<<4：即是先將1轉(zhuǎn)換為二進(jìn)制01，然后將01向左移4位，低位補(bǔ)0，得到010000（十進(jìn)制為16）。
? ?下面來(lái)介紹影像去云操作步驟，主要分為三步：
（1）篩選影像，獲取指定波段。
（2）提取QA波段，將QA波段與（1<<4）（即00010000）進(jìn)行按位與運(yùn)算，根據(jù)Bit 4 Cloud比特位的含義，得到0為無(wú)云，1為有云的二值圖；為得到無(wú)云掩膜，再對(duì)其進(jìn)行判斷（eq(0)），若等于0（無(wú)云），則結(jié)果為真，返回值為1（無(wú)云），得到無(wú)云掩膜。
（3）最后將原影像與無(wú)云掩膜進(jìn)行疊加，得到去云后的影像。
2. 通過(guò)算法去云
? ?對(duì)于Landsat TOA 系列，PIE-Engine遙感計(jì)算云服務(wù)平臺(tái)提供了專(zhuān)用的去云函數(shù)：pie.Algorithm.Landsat8.cloudMask() ，以更為便捷的方式去云。
? ?其內(nèi)部封裝了對(duì)以“BQA”表示的QA波段進(jìn)行去云的操作，識(shí)別出是云（Bit 4 Cloud）或者為云的置信度比較高（Bits 5-6 Cloud Confidence）的區(qū)域。
? ?雖然Bits 5和6一起表示云置信度，但只需和Bit 6按位與即可得到置信度比較高的區(qū)域。
? ?使用時(shí)直接調(diào)用cloudMask()即可得到無(wú)云掩膜，主要步驟仍分為三步，具體代碼如下：
理解了以上內(nèi)容后，下次我們來(lái)分享Sentinel-2和MODIS的去云操作。
本次代碼鏈接：
https://engine.piesat.cn/engine-share/shareCode.html?id=26218bc96b79450986b5a4a971762958
