以下觀點僅供交流討論，不作為投資建議

大家好，我是小數(shù)

牛跑了熊來了，最近基金股票可謂一片綠油油，與其聽取別人哪個基金更好，不如自己爬一爬數(shù)據(jù)一探究竟。整理了python爬數(shù)據(jù)的方法，希望對大家有用。

1、python字符串：分割、拼接、中文字符判斷；

2、python正則表達式；

3、爬蟲requests請求庫、xpath獲取數(shù)據(jù)、代理服務器；

4、selenium用法：無頭瀏覽器、元素定位、顯式等待、數(shù)據(jù)獲??；

5、python操作mongodb

代碼和數(shù)據(jù)我們到后面再貼上，先來分析下目標網(wǎng)站，這樣有利于我們爬取過程更加清晰

目標網(wǎng)站：開放式基金排行 _ 天天基金網(wǎng)

我們爬取的就是【開放式基金】里的數(shù)據(jù)：

我們隨便點開一個基金，就可以進入其詳情頁面，不知道你發(fā)現(xiàn)沒有，該基金詳情頁面的url就是首頁該基金的基金代碼和 http://fund.eastmoney.com/ 的一個組合

比如：040011 --- 華安核心優(yōu)選混合的url：華安核心優(yōu)選混合(040011)基金凈值_估值_行情走勢-天天基金網(wǎng)

005660 --- 嘉實資源精選股票A的url：嘉實資源精選股票A(005660)基金凈值_估值_行情走勢-天天基金網(wǎng)

ok，好，我們在基金詳情頁面往下拉就可以找到該基金的股票持倉信息，也就是該基金買了哪些股票：

然后點擊更多 進入該基金持股的詳情頁，往下拉就會看到，該基金三個季度的股票持倉信息：

這就是目標數(shù)據(jù)，要爬取的數(shù)據(jù)

我們先不爬取，再分析這個基金持倉的詳情頁，這個url也是有規(guī)律的，它是用?

http://fundf10.eastmoney.com/ccmx_?和該基金的基金代碼組合成的

比如：

005660 ，嘉實資源精選股票A 的持倉詳情頁面url：嘉實資源精選股票A(005660)基金持倉 _ 基金檔案 _ 天天基金網(wǎng)

006921，南方智誠混合 的持倉詳情頁面url：南方智誠混合(006921)基金持倉 _ 基金檔案 _ 天天基金網(wǎng)

因為這些數(shù)據(jù)是用js動態(tài)加載的，如果使用requests爬取的話難度很大，這種情況下一般會使用selenium模擬瀏覽器行為進行爬取。但是selenium爬取的效率確實比較低

其實我們依舊是可以使用requests進行爬取的，js動態(tài)加載是html頁面中的js代碼執(zhí)行了一段操作，從服務端自動加載了數(shù)據(jù)，所以數(shù)據(jù)在一開始爬取的頁面上是看不到的，除非一些特別難爬的數(shù)據(jù)才需要selenium，因為selenium號稱：只要是你看得到的數(shù)據(jù)就都可以獲取。畢竟selenium是模仿人操作瀏覽器的行為的。這里我們分析js動態(tài)加載，然后利用requests來爬取，后面進行二次爬取的時候再用selenium

在首頁按F12打開開發(fā)者工具，然后再刷新一下

可以看到右邊藍色框里的數(shù)據(jù)了吧，這是js動態(tài)加載之后返回的數(shù)據(jù)，然后經(jīng)過加工后呈現(xiàn)在頁面上的，其實只要獲取這些數(shù)據(jù)就可以了，不用去爬取首頁了

我們再點擊 Headers ，這個 Request URL 就是js請求的url了，你可以試試把這個url直接用瀏覽器回車下，會給你返回一堆的數(shù)據(jù)；上面分析了基金持倉股票頁面url的組成，所以只要需要這些數(shù)據(jù)里的六位基金代碼就可以了

本篇代碼中是用python正則進行了六位數(shù)字的提取，然后組成的基金持倉股票頁面的url；然后再在基金持倉股票頁面對該基金持有的股票進行爬取、存儲

爬取流程

1、首先從首頁中請求js動態(tài)加載數(shù)據(jù)時請求的那個url，從中獲取六位數(shù)字的基金代碼
然后 http://fundf10.eastmoney.com/ccmx_ + 基金代碼 + .html 組成的基金持倉股票的詳情頁url

2、針對基金持倉股票的詳情頁url 進行爬取，因為也是js動態(tài)加載的（加載速度較快），并且需要判斷該基金是否有持倉的股票（有的基金沒有買股票，也不知道他們干啥了），所以使用selenium來爬取，同時也使用了顯式等待的方式來等待數(shù)據(jù)加載完成；

3、將數(shù)據(jù)整理，存儲到mongodb中

這次我們將代碼分段放上來，分段說明

需要的庫：

準備一些常用的方法：

注意 page_url() 方法，里面的url就是上面分析js動態(tài)加載數(shù)據(jù)時請求的url，需要注意的是該url后面的參數(shù)，pi是第幾頁，pn是每頁多少條數(shù)據(jù)

我這里pi=1，pn=10000，意思就是第一頁，顯示10000條數(shù)據(jù)（實際數(shù)據(jù)肯定沒這么多，首頁才5000+），就一次性的顯示出所有的數(shù)據(jù)了；

程序開始：

好，至此，爬取數(shù)據(jù)的代碼交代完畢，運行后坐等即可

該項目單進程運行，所以爬取速度略慢，同時也受網(wǎng)速影響，后期會繼續(xù)改進成多線程。

上面已經(jīng)把數(shù)據(jù)爬取并存儲到數(shù)據(jù)庫中，這里對數(shù)據(jù)進行處理，將其變成可用的；首先說明思路：

1、我們需要知道這些基金所有持倉的股票的綜合數(shù)據(jù)，也包括基金持倉中有重復的股票

2、需要知道哪些股票重復了，有多少個重復的，重復了多少次這樣，重復數(shù)最多的那只股票就肯定是最好的了，因為這證明有很多的基金都購買了這支股票

具體看代碼，注釋說的已經(jīng)很清楚了：

這樣，就將數(shù)據(jù)稍微處理了一下存入了 tb_data 的集合中

下面只披露部分處理的數(shù)據(jù)：

該數(shù)據(jù)還未做排序，排名不分先后

上面展示的數(shù)據(jù)中：中國石化 的numbers是54，說明在5000+家的基金中有54家買了中國石化的股票

招商銀行的numbers為910，說明在5000+家的基金中有910家基金買了招商銀行的股票，已經(jīng)相當高了

數(shù)據(jù)的獲取主要采用了爬蟲的基本方法，使用的是 requests 庫。而數(shù)據(jù)的解析和保存主要運用的是正則表達式、xpath解析庫以及 pandas 數(shù)據(jù)處理庫

對于一個基金的分析遠遠不止于這些數(shù)據(jù)（例如持倉分布，基金經(jīng)理信息等），這里只是做個引子，畢竟自己用數(shù)據(jù)來選基金比聽別人推薦買什么基金要好上一些，希望能給大家一個思路

更多好玩有趣的數(shù)據(jù)知識

盡在數(shù)據(jù)分析