全文下載鏈接:http://tecdat.cn/?p=29480

作者：Xingsheng Yang

最近我們被客戶要求撰寫關(guān)于鏈家租房數(shù)據(jù)的研究報(bào)告，包括一些圖形和統(tǒng)計(jì)輸出。

1 利用 python 爬取鏈家網(wǎng)公開的租房數(shù)據(jù)；

2 對(duì)租房信息進(jìn)行分析，主要對(duì)房租相關(guān)特征進(jìn)行分析，并搭建模型用于預(yù)測(cè)房租

任務(wù)/目標(biāo)

利用上海鏈家網(wǎng)站租房的公開信息，著重對(duì)月租進(jìn)行數(shù)據(jù)分析和挖掘。

上海租賃數(shù)據(jù)

此數(shù)據(jù)來自 Lianjia.com.csv文件包含名稱，租賃類型，床位數(shù)量，價(jià)格，經(jīng)度，緯度，陽臺(tái)，押金，公寓，描述，旅游，交通，獨(dú)立浴室，家具，新房源，大小，方向，堤壩，電梯，停車場(chǎng)和便利設(shè)施信息。

屬性：

名稱：列表名稱
類型：轉(zhuǎn)租或全部租賃（全部）
床：臥室號(hào)碼
價(jià)格
經(jīng)度/緯度：坐標(biāo)
陽臺(tái)，押金（是否有押金政策），公寓，描述，旅游可用性，靠近交通，獨(dú)立浴室，家具

新房源：NO-0，YES-1
面積：平方米
朝向：朝向窗戶，南1，東南2，東-3，北4，西南-5，西-6，西北-7，東北8，未知-0
級(jí)別：房源層級(jí)， 地下室-0， 低層（1-15）-1， 中層（15-25）-2， 高層（>25）-3
停車場(chǎng)：無停車場(chǎng)-0，額外收費(fèi)-1，免費(fèi)停車-2
設(shè)施：設(shè)施數(shù)量

import?pandas?as?pdimport?numpy?as?npimport?geopandas? df?=?pd.read_csv('lighai.csv',?sep?=',',?encoding='utf_8_sig',?header=None) df.head()

數(shù)據(jù)預(yù)處理

ETL處理，清理數(shù)據(jù)幀。

df_clean.head()

?

探索性分析 - 數(shù)據(jù)可視化

plt.figure(figsize=(8,?6)) sns.distplot(df_clean.price,?bins=500,?kde=True) plt.xscale('log')?#?Log?transform?the?price

讀取地理數(shù)據(jù)

plt.figure(figsize=(12,?12)) sns.heatmap(df_clean.corr(),?square=True,?annot=True,?fmt?=?'.2f',?cmap?=?'vla

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

線性回歸和時(shí)間序列分析北京房價(jià)影響因素可視化案例

左右滑動(dòng)查看更多

01

02

03

04

模型構(gòu)建

嘗試根據(jù)特征預(yù)測(cè)價(jià)格。

y?=?df_clean.log_priceX?=?df_clean.iloc[:,?1:].drop(['price',?'log_price'],?axis=1)

嶺回歸模型

ridge?=?Ridge()alphas?=?[0.0001,?0.001,?0.001,?0.01,?0.1,?0.5,?1,?2,?3,?5,?10]

?

Lasso回歸

coef.sort_values(ascending=False).plot(kind?=?'barh')

Random forest隨機(jī)森林

rf_cv.fit(X_train,?y_train)

XGBoost

xgb_model.loc[30:,['test-rmse-mean',?'train-rmse-mean']].plot();

xgb_cv.fit(X_train,?y_train)

?

Keras神經(jīng)網(wǎng)絡(luò)

model.add(Dense(1,?kernel_initializer='normal'))#?Compile?modelmodel.compile(loss='mean_squared_error',?optimizer='Adam') model.summary()

kmeans聚類數(shù)據(jù)

??kmeanModel?=?KMeans(n_clusters=k).fit(X)? ????kmeanModel.fit(X)????? ????inertias.append(kmeanModel.inertia_)? plt.plot(K,?inertias,?'bx-')

gpd.plot(figsize=(12,10),?alpha=0.3)scatter_map?=?plt.scatter(data=df_clean,?x='lon',?y='lat',?c='label',?alpha=0.3,?cmap='tab10',?s=2)

?

點(diǎn)擊文末?“閱讀原文”

獲取全文完整代碼數(shù)據(jù)資料。

本文選自《python嶺回歸、Lasso、隨機(jī)森林、XGBoost、Keras神經(jīng)網(wǎng)絡(luò)、kmeans聚類鏈家租房數(shù)據(jù)地理可視化分析》。

點(diǎn)擊標(biāo)題查閱往期內(nèi)容

R語言貝葉斯廣義線性混合（多層次/水平/嵌套）模型GLMM、邏輯回歸分析教育留級(jí)影響因素?cái)?shù)據(jù)
Python中的Lasso回歸之最小角算法LARS
高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)
Python高維變量選擇:SCAD平滑剪切絕對(duì)偏差懲罰、Lasso懲罰函數(shù)比較
R語言懲罰logistic邏輯回歸（LASSO,嶺回歸）高維變量選擇的分類模型案例
R使用LASSO回歸預(yù)測(cè)股票收益
廣義線性模型glm泊松回歸的lasso、彈性網(wǎng)絡(luò)分類預(yù)測(cè)學(xué)生考試成績數(shù)據(jù)和交叉驗(yàn)證
貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析免疫球蛋白、前列腺癌數(shù)據(jù)
R語言RSTAN MCMC：NUTS采樣算法用LASSO 構(gòu)建貝葉斯線性回歸模型分析職業(yè)聲望數(shù)據(jù)
r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
R語言高維數(shù)據(jù)懲罰回歸方法：主成分回歸PCR、嶺回歸、lasso、彈性網(wǎng)絡(luò)elastic net分析基因數(shù)據(jù)（含練習(xí)題）
Python中LARS和Lasso回歸之最小角算法Lars分析波士頓住房數(shù)據(jù)實(shí)例
R語言Bootstrap的嶺回歸和自適應(yīng)LASSO回歸可視化
R語言Lasso回歸模型變量選擇和糖尿病發(fā)展預(yù)測(cè)模型R語言實(shí)現(xiàn)貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析
基于R語言實(shí)現(xiàn)LASSO回歸分析
R語言用LASSO，adaptive LASSO預(yù)測(cè)通貨膨脹時(shí)間序列
R語言自適應(yīng)LASSO 多項(xiàng)式回歸、二元邏輯回歸和嶺回歸應(yīng)用分析
R語言懲罰logistic邏輯回歸（LASSO,嶺回歸）高維變量選擇的分類模型案例
Python中的Lasso回歸之最小角算法LARS
r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
r語言中對(duì)LASSO回歸，Ridge嶺回歸和Elastic Net模型實(shí)現(xiàn)
R語言實(shí)現(xiàn)LASSO回歸——自己編寫LASSO回歸算法
R使用LASSO回歸預(yù)測(cè)股票收益
python使用LASSO回歸預(yù)測(cè)股票收益Python中LARS和Lasso回歸之最小角算法Lars分析波士頓住房數(shù)據(jù)實(shí)例
R語言Bootstrap的嶺回歸和自適應(yīng)LASSO回歸可視化
R語言Lasso回歸模型變量選擇和糖尿病發(fā)展預(yù)測(cè)模型R語言實(shí)現(xiàn)貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析
基于R語言實(shí)現(xiàn)LASSO回歸分析
R語言用LASSO，adaptive LASSO預(yù)測(cè)通貨膨脹時(shí)間序列
R語言自適應(yīng)LASSO 多項(xiàng)式回歸、二元邏輯回歸和嶺回歸應(yīng)用分析
R語言懲罰logistic邏輯回歸（LASSO,嶺回歸）高維變量選擇的分類模型案例
Python中的Lasso回歸之最小角算法LARS
r語言中對(duì)LASSO回歸，Ridge嶺回歸和彈性網(wǎng)絡(luò)Elastic Net模型實(shí)現(xiàn)
r語言中對(duì)LASSO回歸，Ridge嶺回歸和Elastic Net模型實(shí)現(xiàn)
R語言實(shí)現(xiàn)LASSO回歸——自己編寫LASSO回歸算法
R使用LASSO回歸預(yù)測(cè)股票收益
python使用LASSO回歸預(yù)測(cè)股票收益R語言隨機(jī)森林RandomForest、邏輯回歸Logisitc預(yù)測(cè)心臟病數(shù)據(jù)和可視化分析
數(shù)據(jù)分享|R語言邏輯回歸、線性判別分析LDA、GAM、MARS、KNN、QDA、決策樹、隨機(jī)森林、SVM分類葡萄酒交叉驗(yàn)證ROC
MATLAB隨機(jī)森林優(yōu)化貝葉斯預(yù)測(cè)分析汽車燃油經(jīng)濟(jì)性
R語言用Rcpp加速M(fèi)etropolis-Hastings抽樣估計(jì)貝葉斯邏輯回歸模型的參數(shù)
R語言邏輯回歸、Naive Bayes貝葉斯、決策樹、隨機(jī)森林算法預(yù)測(cè)心臟病
R語言中貝葉斯網(wǎng)絡(luò)（BN）、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)、線性模型分析錯(cuò)頜畸形數(shù)據(jù)
R語言中的block Gibbs吉布斯采樣貝葉斯多元線性回歸
Python貝葉斯回歸分析住房負(fù)擔(dān)能力數(shù)據(jù)集
R語言實(shí)現(xiàn)貝葉斯分位數(shù)回歸、lasso和自適應(yīng)lasso貝葉斯分位數(shù)回歸分析
Python用PyMC3實(shí)現(xiàn)貝葉斯線性回歸模型
R語言用WinBUGS 軟件對(duì)學(xué)術(shù)能力測(cè)驗(yàn)建立層次（分層）貝葉斯模型
R語言Gibbs抽樣的貝葉斯簡單線性回歸仿真分析
R語言和STAN,JAGS：用RSTAN,RJAG建立貝葉斯多元線性回歸預(yù)測(cè)選舉數(shù)據(jù)
R語言基于copula的貝葉斯分層混合模型的診斷準(zhǔn)確性研究
R語言貝葉斯線性回歸和多元線性回歸構(gòu)建工資預(yù)測(cè)模型
R語言貝葉斯推斷與MCMC：實(shí)現(xiàn)Metropolis-Hastings 采樣算法示例
R語言stan進(jìn)行基于貝葉斯推斷的回歸模型
R語言中RStan貝葉斯層次模型分析示例
R語言使用Metropolis-Hastings采樣算法自適應(yīng)貝葉斯估計(jì)與可視化
R語言隨機(jī)搜索變量選擇SSVS估計(jì)貝葉斯向量自回歸（BVAR）模型
WinBUGS對(duì)多元隨機(jī)波動(dòng)率模型：貝葉斯估計(jì)與模型比較
R語言實(shí)現(xiàn)MCMC中的Metropolis–Hastings算法與吉布斯采樣
R語言貝葉斯推斷與MCMC：實(shí)現(xiàn)Metropolis-Hastings 采樣算法示例
R語言使用Metropolis-Hastings采樣算法自適應(yīng)貝葉斯估計(jì)與可視化
視頻：R語言中的Stan概率編程MCMC采樣的貝葉斯模型
R語言MCMC:Metropolis-Hastings采樣用于回歸的貝葉斯估計(jì)R語言用lme4多層次（混合效應(yīng)）廣義線性模型（GLM），邏輯回歸分析教育留級(jí)調(diào)查數(shù)據(jù)
R語言隨機(jī)森林RandomForest、邏輯回歸Logisitc預(yù)測(cè)心臟病數(shù)據(jù)和可視化分析
R語言基于Bagging分類的邏輯回歸(Logistic Regression)、決策樹、森林分析心臟病患者
R語言用主成分PCA、?邏輯回歸、決策樹、隨機(jī)森林分析心臟病數(shù)據(jù)并高維可視化