預告|GeoInsider第38期:基于街景影像與深度學習的城市空間信息挖掘

?溫馨提示:
GeoInsider茶話會——每周五上午10點,聽作者分享一篇地學經(jīng)典新論文!
·報告預告信息將在“科研圈內(nèi)人”微信公眾號發(fā)布
·視頻將在B站“GeoInsider”直播和部分共享
·PPT共享QQ群:602423441與GEE QQ第2群:1102698162
歡迎關(guān)注這3個號
科研圈內(nèi)人微信InsiderOfScience

GeoInsider Webinar
在線講座系列第38期
題目:基于街景影像與深度學習的城市空間信息挖掘
報告人:Dr. Fan Zhang,Massachusetts Institute of Technology?
張帆 博士,麻省理工學院 MIT感知城市實驗室
時間:北京時間 9月18日(周五)上午10:00
加州時間 9月17日(周四)晚上7:00
悉尼時間 9月18日(周五)中午12:00
參與方式:B站“GeoInsider”直播間平臺,直播間可現(xiàn)場留言提問,進入方式如下二選一:
(a)B站直播間鏈接:https://live.bilibili.com/22243531
(b)B站直播間二維碼:

摘 要
街景影像是感知城市環(huán)境的一種新型地理大數(shù)據(jù)。近年來, 以深度學習和計算機視覺為代表的人工智能技術(shù)不斷發(fā)展,為挖掘街景語義信息、理解和定量表達城市物質(zhì)空間提供了強有力的支持。街景影像不但可以作為遙感影像的補充,以人的視角對城市空間進行觀測;而且可以表達城市社會空間,反演城市物質(zhì)空間背后的人類活動狀況和社會經(jīng)濟環(huán)境,為基于大數(shù)據(jù)的人地關(guān)系研究、建成環(huán)境量化研究、空間數(shù)據(jù)挖掘與知識發(fā)現(xiàn)研究提供新的視角。本報告將從對地觀測和社會感知兩個方面,介紹街景影像在城市研究中的方法與應用。
關(guān)鍵詞:
街景影像 street view imagery,城市研究urban studies,社會感知social sensing,深度學習deep learning,計算機視覺 computer vision
參考文獻:
[1] Fan Zhang, Lun Wu, Di Zhu, and Yu Liu. Social sensing from street-level imagery: a case study in learning spatio-temporal urban mobility patterns. ISPRS Journal of Photogrammetry and Remote Sensing, 153:48–58, 2019
https://www.sciencedirect.com/science/article/abs/pii/S0924271619301133
中文解讀:
https://mp.weixin.qq.com/s/STsU3eRKjcZ7euHS0fHZ-w
[2] Fan Zhang, Bolei Zhou, Liu Liu, Yu Liu, Helene H. Fung, Hui Lin, and Carlo Ratti. Measuring human perceptions of a large-scale urban region using machine learning. Landscape and Urban Planning, 180:148–160, 2018
https://www.sciencedirect.com/science/article/abs/pii/S0169204618308545
中文解讀:
https://mp.weixin.qq.com/s/pifntiEj-OEO2wy02IyalA
[3] Fan Zhang, Ding Zhang, Yu Liu, and Hui Lin. Representing place locales using scene elements. Computers, Environment and Urban Systems, 71:153–164, 2018
https://www.sciencedirect.com/science/article/pii/S0198971517303903
中文解讀:
https://mp.weixin.qq.com/s/eJIpEvaXVc_svqPPu8waqw
[4] Fan Zhang, Jinyan Zu, Mingyuan Hu, Di Zhu, Yuhao Kang, Song Gao, Yi Zhang, and Zhou Huang. Uncovering inconspicuous places using social media check-ins and street view images. Computers, Environment and Urban Systems, 81:101478, 2020
https://www.sciencedirect.com/science/article/pii/S0198971519306003
中文解讀:
https://mp.weixin.qq.com/s/wbC4QC2XiQi4vfa9DnUWLQ
[5] Fan Zhang, Bolei Zhou, Carlo Ratti, and Yu Liu. Discovering place-informative scenes and objects using social media photos. Royal Society Open Science, 6(3):181375, 2019
https://royalsocietypublishing.org/doi/10.1098/rsos.181375
中文解讀:
https://mp.weixin.qq.com/s/2u52bQEEZ31IGWYGRMePaQ

圖1. 通過分析數(shù)百萬張來自于社交媒體的城市街景照片,計算全球18個城市的城市景觀特色程度及城市間的相似程度,并挖掘城市最有代表性的場景 http://senseable.mit.edu/indistinct_cities/

圖2. 訓練深度學習模型學習來自于全世界幾萬名志愿者對數(shù)十萬張街景的評分結(jié)果,實現(xiàn)對任意自然場景的感知評分評估,估計城市區(qū)域視覺質(zhì)量(安全感、生機感、壓抑感等)

圖3. 基于計算機視覺和深度學習技術(shù),構(gòu)建城市街道場景要素提取和基本分類方法,從“人-地”“靜-動”等多層次對場景中可能出現(xiàn)的64種視覺要素(建筑、車輛、植被等)進行梳理,實現(xiàn)對場景、街道和區(qū)域類型的分類,形成基于街景圖片的城市物質(zhì)空間定量表達框架。

圖4. 城市物質(zhì)空間和社會空間之間存在多大程度的關(guān)聯(lián)性?該工作利用街景表達城市物質(zhì)空間,設計了一種基于深度學習的模型來學習和預測每條街道上每小時居民出行的模式,發(fā)現(xiàn)僅僅根據(jù)街景圖片信息,算法就可以還原65%以上的相關(guān)場所居民日出行活動的時空分布模式(圖4)

GeoInsider簡介
GeoInsider是一個最初由舊金山灣區(qū)的GeoScience同行自發(fā)形成的公益性交流平臺,定位在頂級的產(chǎn)學研交叉,包括PNS級講座、產(chǎn)業(yè)應用轉(zhuǎn)化、留學Intern教職申請等交流,迄今已邀請發(fā)表過Science、Nature等高水平文章,以及來自Harvard、Berkeley等頂級機構(gòu)的Webinar報告交流,是一個擴大學術(shù)影響力的平臺。歡迎關(guān)注B站、微信公眾號、QQ交流群:602423441。
往期報告



B站賬號:GeoInsider,賬號里有多期PNS學術(shù)報告視頻以及國外GeoScience大學信息,歡迎粉絲直接進入GeoInsider主頁觀看往期視頻:https://space.bilibili.com/579909660

致謝
本活動由GeoInsider主辦,得到科研圈內(nèi)人、全國地理學研究生聯(lián)合會、武漢大學GeoScience Cafe、北京師范大學地理科學學部GEO云講堂、環(huán)宇易研科技、科研探索學術(shù)者WSRS團隊、自然科學交流平臺等單位的大力支持。
溫馨提示:
報告35分鐘, 留言板&語音提問討論25~40分鐘
報告期間可在B站直播間彈幕留言提問,報告部分結(jié)束依次回答
以后報告信息將在微信公眾號“科研圈內(nèi)人”發(fā)布
視頻和提問將在B站“GeoInsider”直播和部分共享https://live.bilibili.com/22243531
QQ交流群&PPT共享:602423441,二維碼:

微信交流群&PPT共享,若群滿則先加小助手進入:


GEE QQ第2群:1102698162
每周五上午10點,聽作者分享一篇經(jīng)典新論文!
歡迎大家積極參加!


科研圈內(nèi)人 專注服務GeoScience領(lǐng)域
www.insiderofscience.com
www.pandaedit.com

?作者:GeoInsider