GEE-Python遙感大數(shù)據分析、管理與可視化
近年來遙感技術得到了突飛猛進的發(fā)展,航天、航空、臨近空間等多遙感平臺不斷增加,數(shù)據的空間、時間、光譜分辨率不斷提高,數(shù)據量猛增,遙感數(shù)據已經越來越具有大數(shù)據特征。遙感大數(shù)據的出現(xiàn)為相關研究提供了前所未有的機遇,同時如何處理好這些數(shù)據也提出了巨大的挑戰(zhàn)。傳統(tǒng)的工作站和服務器已經無法勝任大區(qū)域、多尺度海量遙感數(shù)據處理的需要。
Google Earth Engine是谷歌公司提供的全球尺度地球科學數(shù)據(尤其是衛(wèi)星遙感數(shù)據)在線可視化計算和分析云平臺。該平臺能夠存取和同步遙感領域目前常用的MODIS、Landsat和Sentinel等衛(wèi)星圖像和NCEP等氣象再分析數(shù)據集,同時依托全球上百萬臺超級服務器,提供足夠的運算能力對這些數(shù)據進行處理。截止目前,GEE上包含的數(shù)據集超過200個公共的數(shù)據集,每天新增數(shù)據量超過 4000幅影像,容量超過50PB。相比于ENVI等傳統(tǒng)的處理影像工具,Google Earth Engine在處理海量遙感數(shù)據方面具有不可比擬的優(yōu)勢,一方面GEE平臺提供了豐富的計算資源,另一方面其巨大的云存儲節(jié)省了科研人員大量的數(shù)據下載和預處理的時間。可以說,GEE在遙感數(shù)據的計算和分析可視化方面代表世界該領域最前沿水平,是遙感領域的一次革命。
目前,GEE以其強大的功能受到了國外越來越多的科技工作者的重視和應用,然而在國內應用還十分有限。GEE提供了基于Javascript和Python語言的API,前者是官方主推平臺的編程語言,易于上手但在輸入輸出和繪圖可視化等方面存在不足,而Python作為目前最受歡迎的編程語言,能夠彌補Javascript在這方面存在的不足,且更方便批處理和機器學習。前期我們開展了基于Javascript的GEE遙感大數(shù)據處理的培訓,應廣大科學工作者的要求,本教程將基于最熱門的Python編程語言,從GEE-Python平臺搭建、影像數(shù)據分析、本地和云端數(shù)據管理,以及云端數(shù)據論文出版級可視化等方面結合案例進行講解和進階訓練,使培訓人員掌握實際操作能力。比較適合擁有一定GEE和Python基礎,或對編程有強烈興趣的學員。

第一部分:GEE實踐篇(提供完整教材,完成基礎學習)
海量遙感數(shù)據處理與GEE云計算技術應用與典型案例實踐
一?初識GEE及開發(fā)平臺
1.GEE平臺及典型應用案例介紹;
2.GEE JavaScript開發(fā)環(huán)境及常用數(shù)據資源介紹;
3.JavaScript基礎,包括變量,運算符,數(shù)組,判斷及循環(huán)語句等;
4.GEE遙感云重要概念與典型數(shù)據分析流程。
5.初識GEE JavaScript對象和平臺上手
影像與影像集
幾何體、要素與要素集
日期、字符、數(shù)字
數(shù)組、列表、字典
影像/影像集、要素/要素集數(shù)據查詢、時空過濾、可視化、屬性查看等
主要對象最常用API介紹
程序調試與誤區(qū)提醒
二?影像大數(shù)據處理基礎
1.1 關鍵知識點講解
影像數(shù)學運算、關系/條件/布爾運算、形態(tài)濾波、紋理特征提取等
影像掩碼,裁剪和鑲嵌
集合對象的循環(huán)迭代(map/iterate)
集合對象聯(lián)合(Join)
再談數(shù)組及數(shù)組影像
影像面向對象分析
2.2 主要功能串講與演練
Landsat/Sentinel-2影像批量去云
Landsat/Sentinel-2傳感器歸一化、植被指數(shù)計算與Tasseled cap變換等
時間序列光學影像的平滑與空間插值
三?數(shù)據整合Reduce
1.關鍵知識點講解
影像與影像集整合,如指定時窗的年度影像合成
影像區(qū)域統(tǒng)計與領域統(tǒng)計,分類后處理
要素集屬性列統(tǒng)計
柵格與矢量的相互轉換
分組整合與區(qū)域統(tǒng)計
影像集、影像和要素集的線性回歸分析
2.主要功能串講與演練
研究區(qū)可用Landsat影像的數(shù)量和無云觀測數(shù)量的統(tǒng)計分析
中國區(qū)域年度NDVI植被數(shù)合成及年度最綠的DOY時間查找
國家尺度30年尺度的降雨量時空變化趨勢分析
四?云端數(shù)據可視化
1.關鍵知識點講解
要素與要素集屬性制圖(條形圖、直方圖、堆積柱形圖、散點圖等)
影像制圖(區(qū)域統(tǒng)計、分類圖、直方圖、散點圖、線型圖,餅圖等)
影像集制圖(樣點時間序列圖、區(qū)域統(tǒng)計時間序列圖等)
數(shù)組與鏈表制圖(散點圖、樣線圖等
圖形風格和屬性設置
2.主要功能串講與演練
基于MODIS時間序列影像的不同地表植被物候分析與制圖
基于Hansen產品的年度森林時空變化分析與專題圖繪制
五?數(shù)據導入導出及資產管理
1.關鍵知識點講解
不同矢量數(shù)據上傳個人資產
影像數(shù)據上傳個人資產、屬性設置等
影像批量導出(Asset和Driver)
矢量數(shù)據導出(Asset和Driver)
統(tǒng)計分析結果導出
2.主要功能串講與演練
中國通量站點數(shù)據上傳與顯示,站點基本氣象和地形等數(shù)據導出
年度影像合成批量導出或下載到個人Asset或Driver平臺
六?機器學習算法
1.關鍵知識點講解
樣本抽樣(隨機抽樣、分層隨機抽樣)
監(jiān)督分類算法(隨機森林、CART、貝葉斯、SVM、決策樹等)
非監(jiān)督分類算法(wekaKMeans、wekaLVQ等)
TensorFlor模型
分類精度評估
2.主要功能串講與演練
聯(lián)合光學與雷達時間序列影像的森林動態(tài)監(jiān)測
水體自動提取與洪澇監(jiān)測研究
七?專題練習與回顧
1.以一個完整的土地利用分類案例來回顧GEE的主要功能。包含不同地面樣本準備、多源遙感影像預處理、算法開發(fā)、分類后處理、精度評估和空間統(tǒng)計分析與制圖等環(huán)節(jié)
2.學員征集案例講解與答疑
3.GEE代碼優(yōu)化、常見錯誤與調試總結



第二部分:GEE-Python遙感大數(shù)據分析、管理與可視化
第一章?理論基礎
1、國外Earth Engine(GEE)平臺及應用、主要數(shù)據資源介紹
2、GEE遙感云重要概念、數(shù)據類型與對象等
3、JavaScript與Python遙感云編程比較與選擇
4、Python基礎(語法、數(shù)據類型與程序控制結構、函數(shù)及類與對象等)
5、常用Python軟件包((pandas、numpy、os等)介紹及基本功能演示(Excel/csv數(shù)據文件讀取與數(shù)據處理、目錄操作等)
6、JavaScript和Python遙感云API差異,學習方法及資源推薦
第二章?開發(fā)環(huán)境搭建
1、本地端與云端Python遙感云開發(fā)環(huán)境介紹
2、本地端開發(fā)環(huán)境搭建
1)Anaconda安裝,pip/conda軟件包安裝方法和虛擬環(huán)境創(chuàng)建等;
2)earthengine-api、geemap等必備軟件包安裝;
3)遙感云本地端授權管理;
4)Jupyter Notebook/Visual Studio Code安裝及運行調試。?
3、云端Colab開發(fā)環(huán)境搭建
4、geemap介紹及常用功能演示
第三章?遙感大數(shù)據處理基礎
1、遙感云平臺影像數(shù)據分析處理流程介紹
2、要素和影像等對象顯示和屬性字段探索
3、影像/要素集的時間、空間和屬性過濾方法
4、波段運算、條件運算、植被指數(shù)計算、裁剪和鑲嵌等
5、Landsat /Sentinel-2等常用光學影像去云
6、影像與要素集的迭代循環(huán)
7、影像數(shù)據整合(Reducer)
8、鄰域分析與空間統(tǒng)計
9、常見錯誤與代碼優(yōu)化
10、Python遙感云數(shù)據分析專屬包構建
第四章?典型案例操作實踐
1、機器學習分類算法案例:以柬埔寨為例,聯(lián)合Landsat等長時間序列影像和機器學習算法進行分類,分類后處理和精度評估。涉及研究區(qū)影像統(tǒng)計、空間分層隨機抽樣、樣本隨機切分、時間序列影像預處理和合成、機器學習算法應用、分類后處理和精度評估等。
2、決策樹森林分類算法案例:聯(lián)合L波段雷達和Landsat光學時間序列影像和決策樹分類算法提取指定地區(qū)2007-2020年度森林分布圖,與JAXA年度森林產品進行空間比較,并分析森林的時空變化。內容涉及多源數(shù)據聯(lián)合使用、決策樹分類算法構建、閾值動態(tài)優(yōu)化、分類結果空間分析等。
3、洪澇災害監(jiān)測案例:基于Sentinel-1 C波段雷達等影像,監(jiān)測河南新鄉(xiāng)市2021年7月份的特大暴雨災害。涉及Sentinel-1 C影像處理,水體分類算法構建、影像差異分析,結果可視化等。
4、干旱遙感監(jiān)測案例:聯(lián)合具有數(shù)十年歷史的衛(wèi)星遙感降雨數(shù)據產品如CHIRPS來監(jiān)測云南省2010年的特大干旱情況。涉及氣象數(shù)據基本處理、年和月尺度數(shù)據整合、長期平均值LPA/偏差計算,數(shù)據結果可視化等。
5、物候特征分析案例:基于Landsat和MODIS等時間序列影像,通過植被指數(shù)變化分析典型地表植被多年的物候差異(樣點尺度)和大尺度(如中國)的物候空間變化特征。涉及時間序列影像合成、影像平滑(Smoothing)與間隙填充(Gap-filling)、結果可視化等。
6、森林植被健康狀態(tài)監(jiān)測案例:利用20年的MODIS植被指數(shù),對選定區(qū)域的森林健康狀態(tài)進行長期監(jiān)測,分析森林植被綠化或褐變情況。涉及影像連接、影像合成、趨勢分析、空間統(tǒng)計和可視化等。
7、生態(tài)環(huán)境質量動態(tài)監(jiān)測案例:利用RSEI遙感生態(tài)指數(shù)和Landsat系列影像對選定城市的生態(tài)狀況進行快速監(jiān)測。內容涉及植被指數(shù)計算、地表溫度提取、數(shù)據歸一化、主成分PCA分析、RSEI生態(tài)指數(shù)構建和結果可視化等。
第五章?輸入輸出及數(shù)據資產高效管理
1.本地文本/矢量/柵格等數(shù)據與云端交互:包括本地端csv、kml、矢量和柵格數(shù)據與云端數(shù)據相互轉換、數(shù)據導出等。
2.服務器端影像與影像集數(shù)據批量下載:包括直接本地下載、影像集批量下載,以及大尺度(如全球森林產品)和長時間序列數(shù)據(如20年的MODIS數(shù)據產品)快速下載的方法與技巧。
3.本地端矢量/影像數(shù)據上傳個人資產及屬性設置:包括earthengine命令使用,少量本地端矢量與柵格直接上傳與屬性設置(小文件)、本地端批量上傳及屬性自動設置,超大影像文件(如國產高分或無人機影像)快速上傳技巧等。
4.遙感云個人數(shù)據資產管理:聯(lián)合Python和earthengine命令行管理個人數(shù)據資產,包括創(chuàng)建、刪除、移動、重命名;上傳/下載任務批量取消。
第六章?云端數(shù)據論文出版級可視化
1.Python可視化及主要軟件包簡介:matplotlib,seaborn可視化程序包介紹,基本圖形概念、圖形構成介紹,常用圖形快速繪制等。
2.研究區(qū)地形及樣地分布圖繪制:結合本地或云端矢量文件、云端地形數(shù)據等繪制研究區(qū)示意圖,涉及繪圖流程、中文顯示、配色美化,如cpt-city精美調色板palette在線下載與本地端應用等。
3.研究區(qū)域影像覆蓋統(tǒng)計和繪圖:對指定區(qū)域Landsat和Sentinel等系列影像的覆蓋數(shù)量、無云影像覆蓋情況進行統(tǒng)計,繪制區(qū)域影像統(tǒng)計圖或像元級無云影像覆蓋專題圖。
4.樣本光譜特征與物候特征等分析繪圖:快速繪制不同類型樣地的光譜和物候特征、動態(tài)下載并整合樣點過去30年縮略圖(thumbnails)和植被指數(shù)時間序列等。
5.分類結果專題圖繪制及時空動態(tài)延時攝影Timelapse制作:單幅或多幅分類專題圖繪制及配色美化,土地利用變化清晰Timelapse制作、動畫文字添加等。
6.分類結果面積統(tǒng)計與繪圖:基于云端的分類結果和矢量邊界文件,統(tǒng)計不同區(qū)域不同地類面積,提取統(tǒng)計結果,以不同圖形展示統(tǒng)計面積;土地利用變化統(tǒng)計繪圖等。


