10. 數(shù)據(jù)提取-JsonPath
JSON和XML的比較可謂不相上下。
Python 中自帶了JSON模塊，直接import json就可以使用了。
官方文檔：http://docs.python.org/library/json.html
Json在線解析網(wǎng)站：http://www.json.cn/#
2. JSON
json簡單說就是javascript中的對象和數(shù)組，所以這兩種結(jié)構(gòu)就是對象和數(shù)組兩種結(jié)構(gòu)，通過這兩種結(jié)構(gòu)可以表示各種復(fù)雜的結(jié)構(gòu)
對象：對象在js中表示為{ }括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為 { key：value, key：value, ... }的鍵值對的結(jié)構(gòu)，在面向?qū)ο蟮恼Z言中，key為對象的屬性，value為對應(yīng)的屬性值，所以很容易理解，取值方法為 對象.key 獲取屬性值，這個(gè)屬性值的類型可以是數(shù)字、字符串、數(shù)組、對象這幾種
數(shù)組：數(shù)組在js中是中括號[ ]括起來的內(nèi)容，數(shù)據(jù)結(jié)構(gòu)為 ["Python", "javascript", "C++", ...]，取值方式和所有語言中一樣，使用索引獲取，字段值的類型可以是 數(shù)字、字符串、數(shù)組、對象幾種
3. Python中的json模塊
json模塊提供了四個(gè)功能：dumps、dump、loads、load，用于字符串 和 python數(shù)據(jù)類型間進(jìn)行轉(zhuǎn)換
3.1 json.loads()
把Json格式字符串解碼轉(zhuǎn)換成Python對象 從json到python的類型轉(zhuǎn)化對照如下：
3.2 json.dumps()
實(shí)現(xiàn)python類型轉(zhuǎn)化為json字符串，返回一個(gè)str對象 把一個(gè)Python對象編碼轉(zhuǎn)換成Json字符串
從python原始類型向json類型的轉(zhuǎn)化對照如下：
3.3 json.dump()
將Python內(nèi)置類型序列化為json對象后寫入文件
3.4 json.load()
讀取文件中json形式的字符串元素 轉(zhuǎn)化成python類型
JsonPath 是一種信息抽取類庫，是從JSON文檔中抽取指定信息的工具，提供多種語言實(shí)現(xiàn)版本，包括：Javascript, Python， PHP 和 Java。
JsonPath 對于 JSON 來說，相當(dāng)于 XPATH 對于 XML。
安裝方法：pip install jsonpath
官方文檔：http://goessner.net/articles/JsonPath
5 JsonPath與XPath語法對比
Json結(jié)構(gòu)清晰，可讀性高，復(fù)雜度低，非常容易匹配，下表中對應(yīng)了XPath的用法
6. 示例
我們以拉勾網(wǎng)城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有城市
from urllib.request import urlopen
from urllib.request import Request
import jsonpath
import json
url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
request =Request(url)
response = urlopen(request)
html = response.read()
# 把json格式字符串轉(zhuǎn)換成python對象
jsonobj = json.loads(html)
# 從根節(jié)點(diǎn)開始，匹配name節(jié)點(diǎn)
citylist = jsonpath.jsonpath(jsonobj,'$..name')
print(citylist)
print(type(citylist))
fp = open('city.json','w')
content = json.dumps(citylist, ensure_ascii=False)
print(content)
fp.write(content)
fp.close()
7. 注意事項(xiàng)
json.loads() 是把 Json格式字符串解碼轉(zhuǎn)換成Python對象，如果在json.loads的時(shí)候出錯(cuò)，要注意被解碼的Json字符的編碼。 如果傳入的字符串的編碼不是UTF-8的話，需要指定字符編碼的參數(shù) encoding
dataDict = json.loads(jsonStrGBK);
dataJsonStr是JSON字符串，假設(shè)其編碼本身是非UTF-8的話而是GBK 的，那么上述代碼會導(dǎo)致出錯(cuò)，改為對應(yīng)的：
dataDict = json.loads(jsonStrGBK, encoding="GBK");
如果 dataJsonStr通過encoding指定了合適的編碼，但是其中又包含了其他編碼的字符，則需要先去將dataJsonStr轉(zhuǎn)換為Unicode，然后再指定編碼格式調(diào)用json.loads()
dataJsonStrUni = dataJsonStr.decode("GB2312");
dataDict = json.loads(dataJsonStrUni, encoding="GB2312");
7.1 字符串編碼轉(zhuǎn)換
這是中國程序員最苦逼的地方，什么亂碼之類的幾乎都是由漢字引起的
其實(shí)編碼問題很好搞定，只要記住一點(diǎn)：
任何平臺的任何編碼 都能和 Unicode 互相轉(zhuǎn)換
UTF-8 與 GBK 互相轉(zhuǎn)換，那就先把UTF-8轉(zhuǎn)換成Unicode，再從Unicode轉(zhuǎn)換成GBK，反之同理。
# 這是一個(gè) UTF-8 編碼的字符串
utf8Str = "你好地球"
# 1. 將 UTF-8 編碼的字符串 轉(zhuǎn)換成 Unicode 編碼
unicodeStr = utf8Str.decode("UTF-8")
# 2. 再將 Unicode 編碼格式字符串 轉(zhuǎn)換成 GBK 編碼
gbkData = unicodeStr.encode("GBK")
# 1. 再將 GBK 編碼格式字符串 轉(zhuǎn)化成 Unicode
unicodeStr = gbkData.decode("gbk")
# 2. 再將 Unicode 編碼格式字符串轉(zhuǎn)換成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")
decode的作用是將其他編碼的字符串轉(zhuǎn)換成 Unicode 編碼
encode的作用是將 Unicode 編碼轉(zhuǎn)換成其他編碼的字符串
