※ 本文為指南者留學(xué)學(xué)員原創(chuàng)，轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)

W同學(xué)本科背景

南京理工大學(xué)?通信工程GPA?81.2

背提項(xiàng)目指南者留學(xué)機(jī)器學(xué)習(xí)項(xiàng)目實(shí)戰(zhàn)

匯豐銀行外幣理財(cái)用戶(hù)購(gòu)買(mǎi)意愿預(yù)測(cè)

01

契機(jī)背景

我是一名大四的本科生，在大三升大四的暑假參加了指南者留學(xué)的機(jī)器學(xué)習(xí)背景提升項(xiàng)目，主要內(nèi)容是匯豐銀行外幣理財(cái)用戶(hù)購(gòu)買(mǎi)意愿預(yù)測(cè)。
首先，我想談一談為什么選擇指南者的背景提升項(xiàng)目。
在大學(xué)前三年的學(xué)習(xí)中，作為電子信息類(lèi)專(zhuān)業(yè)的學(xué)生，除了需要接觸大量的與電子學(xué)科相關(guān)理論，編程能力也是很重要的一部分，誰(shuí)能夠?qū)⑵骷睦碚撝R(shí)與編程代碼相結(jié)合，誰(shuí)就能在短時(shí)間內(nèi)實(shí)現(xiàn)器件功能的設(shè)計(jì)，并且相較于一些傳統(tǒng)的電子設(shè)計(jì)軟件，通過(guò)編程設(shè)計(jì)出來(lái)的器件能夠更好的實(shí)現(xiàn)功能的多樣性和創(chuàng)新性。譬如在一個(gè)傳統(tǒng)芯片的設(shè)計(jì)中，可能添加一個(gè)功能就需要在版圖上進(jìn)行全部芯線的重新連接和繪制，但在數(shù)字化的芯片設(shè)計(jì)中只需要添加或修改其中的一部分代碼。
其次，是為了個(gè)人能力的進(jìn)一步提升。在本科的學(xué)習(xí)過(guò)程中，我從未接觸過(guò)python這類(lèi)語(yǔ)言，也未參與過(guò)機(jī)器學(xué)習(xí)相關(guān)的課程，但python無(wú)疑是當(dāng)下最熱門(mén)的計(jì)算機(jī)語(yǔ)言之一，“大數(shù)據(jù)分析+機(jī)器學(xué)習(xí)”的模式也無(wú)疑是當(dāng)下最熱門(mén)的項(xiàng)目之一。我希望能通過(guò)我的個(gè)人能力，對(duì)某類(lèi)數(shù)據(jù)集實(shí)現(xiàn)從無(wú)到有、從復(fù)雜到簡(jiǎn)單的分析過(guò)程，能夠從單一的數(shù)字中挖掘出有用的信息。這對(duì)我來(lái)說(shuō)是一個(gè)全新的項(xiàng)目和挑戰(zhàn)，而指南者的背提項(xiàng)目恰好給予了我這一機(jī)會(huì)。
最后一條是為了彌補(bǔ)自己在留學(xué)申請(qǐng)時(shí)科研項(xiàng)目上的空缺。在大學(xué)階段我雖然完成了不少實(shí)驗(yàn)和課程設(shè)計(jì)，但所接觸的科研經(jīng)歷總體較少，而在院校申請(qǐng)時(shí)科研項(xiàng)目經(jīng)歷又是很被看重的一方面，因此這一機(jī)會(huì)成為了我背景提升的“救命稻草”。

02

項(xiàng)目過(guò)程及收獲

主要的項(xiàng)目過(guò)程是首先通過(guò)老師的課程學(xué)習(xí)相關(guān)的基礎(chǔ)知識(shí)，譬如科研項(xiàng)目的一般流程、機(jī)器學(xué)習(xí)的項(xiàng)目簡(jiǎn)介、Numpy庫(kù)、Matplotlib庫(kù)、Pandas庫(kù)、數(shù)據(jù)清洗的一般方法、回歸模型、分類(lèi)模型、評(píng)價(jià)指標(biāo)等。每一次課程都會(huì)對(duì)應(yīng)著相關(guān)的作業(yè)（主要是對(duì)老師給的題目進(jìn)行編程并寫(xiě)一份簡(jiǎn)單的報(bào)告），之后老師會(huì)集中幾次作業(yè)的情況對(duì)我的作業(yè)進(jìn)行單獨(dú)講解，這個(gè)過(guò)程大約持續(xù)了3~4周。這些作業(yè)內(nèi)容幫助我很好地理解了課程的相關(guān)內(nèi)容，并進(jìn)一步加深了對(duì)python編程的理解。

完成了上述課程的學(xué)習(xí)之后就進(jìn)入了具體的項(xiàng)目實(shí)戰(zhàn)。我的項(xiàng)目?jī)?nèi)容主要是結(jié)合匯豐銀行以往的用戶(hù)購(gòu)買(mǎi)外匯理財(cái)產(chǎn)品的數(shù)據(jù)以及用戶(hù)本身的信息（如住房情況、信貸狀況、家庭背景、工作信息等）來(lái)進(jìn)行有效特征的篩選，也就是從其中挑選出對(duì)購(gòu)買(mǎi)理財(cái)產(chǎn)品影響因子較大的因素放入最終的模型，而無(wú)關(guān)的因素則可以刪去，并且通過(guò)用戶(hù)自身信息與過(guò)往金融行為來(lái)搭建購(gòu)買(mǎi)意愿預(yù)測(cè)系統(tǒng)，提高最終預(yù)測(cè)模型的效率。
首先需要在數(shù)據(jù)預(yù)處理中進(jìn)行了缺失值填補(bǔ)、獨(dú)熱編碼等步驟，并進(jìn)行了樸素的過(guò)采樣處理保證數(shù)據(jù)集的平衡性。在數(shù)據(jù)處理的第一步我就碰到了問(wèn)題，但我的指導(dǎo)老師梅老師一直對(duì)我的每次問(wèn)題進(jìn)行了詳細(xì)的解答，為我省去了很多不必要的麻煩。

在進(jìn)行模型搭建之前先對(duì)數(shù)據(jù)進(jìn)行一定的清洗，畢竟在以后面對(duì)實(shí)際的數(shù)據(jù)集時(shí)，不可能得到一個(gè)完完整整的數(shù)據(jù)庫(kù)，因此數(shù)據(jù)清洗是必要的，以某數(shù)據(jù)集為例統(tǒng)計(jì)可得到該數(shù)據(jù)集共有19439行損失，64列損失。查看每列數(shù)據(jù)的缺失值比例，其中部分結(jié)果如下：

從中可以看出，該數(shù)據(jù)集中有大量的缺失值，出于下一步模型的需要因此不能進(jìn)行簡(jiǎn)單的刪除，對(duì)此我使用Imputer進(jìn)行了缺失值填補(bǔ)等數(shù)據(jù)預(yù)處理步驟。
同時(shí)，在該數(shù)據(jù)集中有幾個(gè)特征是無(wú)序的分類(lèi)特征。為了處理這一問(wèn)題，我進(jìn)行了獨(dú)熱編碼等步驟，即為每一個(gè)無(wú)序分類(lèi)特征的每一個(gè)可能的類(lèi)別創(chuàng)建一個(gè)“虛擬”變量。經(jīng)過(guò)以上處理之后數(shù)據(jù)集就顯得有序了許多，于是就開(kāi)始進(jìn)行下面的步驟。
在特征抽取步驟中，我使用了GBDT和PCA的方法進(jìn)行，兩種方法各有優(yōu)點(diǎn)和缺點(diǎn)，我都進(jìn)行了嘗試并對(duì)相應(yīng)的結(jié)果進(jìn)行了對(duì)比。在本項(xiàng)目中的PCA降維中，可以繪制出n_components與cum_explained_variance_ratio對(duì)應(yīng)的圖像曲線如下，最終選擇n=20作為新生成的特征個(gè)數(shù)。

最終結(jié)合了測(cè)試集上的指標(biāo)以及模型的運(yùn)算量大小等綜合因素，本項(xiàng)目采用PCA的特征抽取方法。

在特征過(guò)濾中主要選擇了方差選擇法、遞歸特征消除法和基于懲罰項(xiàng)的特征選擇法，并對(duì)原理和結(jié)果進(jìn)行了說(shuō)明。最后利用不同的機(jī)器學(xué)習(xí)算法分別進(jìn)行交叉驗(yàn)證和網(wǎng)格搜索確定模型的參數(shù)（如：n_estimators、max_depth等）并對(duì)該數(shù)據(jù)集進(jìn)行預(yù)測(cè)，例如隨機(jī)森林、邏輯回歸、stacking集成等，最后通過(guò)AUC和ROC等評(píng)價(jià)指標(biāo)的對(duì)比分析確定最佳模型，即隨機(jī)森林模型可以對(duì)銀行外幣理財(cái)用戶(hù)購(gòu)買(mǎi)意愿起到比較好的預(yù)測(cè)效果。該系統(tǒng)還可以通過(guò)數(shù)據(jù)來(lái)對(duì)用戶(hù)的購(gòu)買(mǎi)意愿進(jìn)行判斷，并且提供意愿排名，來(lái)更為精準(zhǔn)的找到意愿強(qiáng)烈的客戶(hù)提高產(chǎn)品的購(gòu)買(mǎi)率。

（我的最終報(bào)告部分展示）

03

收獲與感悟

最后我還想談一談我在這一過(guò)程中的收獲。
首先是指南者的背景提升項(xiàng)目讓我更加清楚了自身的興趣和學(xué)習(xí)的意義，書(shū)本上的理論知識(shí)雖然是枯燥的但也是必備的，如何將這些理論知識(shí)運(yùn)用到實(shí)踐中去并取得真正有意義的成果才是最重要的，而成果是否有意義的重要衡量標(biāo)準(zhǔn)之一就是是否能解決實(shí)際問(wèn)題，本次的背提項(xiàng)目讓我看到了知識(shí)與實(shí)踐融合的魅力。
第二是讓我在留學(xué)申請(qǐng)中提升了自己的競(jìng)爭(zhēng)力，對(duì)于科研小白的我來(lái)說(shuō)，這無(wú)疑是我的申請(qǐng)簡(jiǎn)歷中濃墨重彩的一筆，該項(xiàng)目不僅是對(duì)我個(gè)人能力的證明，也能夠幫助申請(qǐng)?jiān)盒５睦蠋焸冞M(jìn)一步了解我。
第三是提高了我對(duì)新事物的接受能力，從接觸一門(mén)全新的編程語(yǔ)言到能夠最終完成該項(xiàng)目，這對(duì)我來(lái)說(shuō)是一次挑戰(zhàn)也是一次飛躍，這讓我對(duì)接下來(lái)的學(xué)習(xí)生活更有自信。

想要咨詢(xún)本項(xiàng)目，或者了解指南者留學(xué)更多的背景提升項(xiàng)目，歡迎私信~