1.選題意義

近幾年來，隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應用，行業(yè)應用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長，“大數(shù)據(jù)”一詞被越來越多的人提及和熱議，隨著大數(shù)據(jù)概念的普及，當今“大數(shù)據(jù)”一詞的重點其實已經(jīng)不僅在于數(shù)據(jù)規(guī)模的定義，而且代表著信息技術(shù)發(fā)展進入了一個新的時代。因為爆炸性的數(shù)據(jù)信息給傳統(tǒng)的計算技術(shù)和信息技術(shù)帶來的技術(shù)挑戰(zhàn)，所以大數(shù)據(jù)處理的新技術(shù)和新方法都有了施展的平臺。大數(shù)據(jù)的分析應用具有十分重大的意義和價值，被譽為“大數(shù)據(jù)時代預言家”的維克托·邁爾-舍恩伯格在其《大數(shù)據(jù)時代》一書中列舉了大量詳實的大數(shù)據(jù)應用案例，并分析預測了大數(shù)據(jù)的發(fā)展現(xiàn)狀和未來趨勢，提出了很多重要的觀點和發(fā)展思路。他認為：“大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型”。因此，在未來擁有數(shù)據(jù)分析的能力將成為各行各業(yè)的首要任務。

2.研究內(nèi)容

使用Python從招聘網(wǎng)上爬取大量的就業(yè)招聘信息并且將這些信息保存在本地；然后將這些爬取的就業(yè)招聘信息數(shù)據(jù)集上傳到Hadoop集群；使用Hive進行離線分析；最后將分析的就業(yè)的公司名、公司該職位薪水、公司所在的地點以及該職業(yè)要求的必須能力、以及要求的工作經(jīng)驗等指標通過柱狀圖、扇形圖、餅圖、地圖的形式將分析的結(jié)果展示出來并且將公司的詳細數(shù)據(jù)通過表格的形式展示在頁面上。

3.研究方法

通過Python網(wǎng)絡爬蟲爬取的招聘的網(wǎng)站數(shù)據(jù)，采用離線分析的方法通過Hadoop、Hive數(shù)據(jù)倉庫對爬取的招聘數(shù)據(jù)進行分析。從招聘公司的對招聘員工的工作經(jīng)驗、工作地點、公司的類型、技能的要求四個角度入手分析。分析公司對招聘員工的工作經(jīng)驗進行分析可以清楚的看出目前行業(yè)對招聘人員的普遍要求；分析公司的工作地點可以看出哪些地方是公司招聘的熱門地點；分析公司的類型可以清楚的看出哪種類型的公司對于人才的需求量；分析公司對員工的技能要求可以得到公司當前使用的哪些技術(shù)，從而更加清楚的知道整個行業(yè)熱門的技術(shù)有哪些。

4.參考文獻

[1]劉曉光.基于MySQL的分布式SQL數(shù)據(jù)庫的設計與實現(xiàn). 2016-05-01

[2]Garry Turkington. Hadoop基礎(chǔ)教程[M].張治起譯.人民郵電出版社 第1版, 2014.?

[3]Tom White. Hadoop權(quán)威指南[M]. 王海,華東,劉喻,呂粵海譯. 清華大學出版社 第四版2017.

[4]董西成. Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設計與實現(xiàn)原理[M].機械工業(yè)出版社, 2013.

[5]董西成. Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設計與實現(xiàn)原理[M]. 機械工業(yè)出版社, 2013.

[6]余煬,曲毅; 孫亦樂.基于Apache Tomcat的一站式Java應用服務器解決方案.中國金融電腦. 2018,(01).

[7]王宏,王清勇.計算機軟件開發(fā)中Java編程語言的應用[J].數(shù)字技術(shù)與應用，2020,38（01）：32-33.

[8]黃俊.Java程序設計與應用開發(fā).第二版.機械工業(yè)出版社.2014.

[9]陳強.精通Java開發(fā)技術(shù).清華大學出版社.2014

[10]向昌成.Java程序設計項目化教程.清華大學大學出版社.2013