摘 要

隨著社會(huì)經(jīng)濟(jì)的快速發(fā)展，人們的生活水平得到了顯著提高，但隨之而來的社會(huì)問題也越來越多。其中最為顯著的就是就業(yè)問題。為此，招聘信息的展示也變得越來越為重要。但是在大量的招聘信息中，人們在提取自己最想要的信息時(shí)變得不那么容易，對于應(yīng)聘者也是如此。本系統(tǒng)通過對網(wǎng)絡(luò)爬蟲的分析，研究智通人才網(wǎng)站數(shù)據(jù)，嘗試使用Python技術(shù)進(jìn)行開發(fā)，將智通人才網(wǎng)招聘信息盡可能的爬取出來，并對結(jié)果進(jìn)行檢測判斷，最后可視化分析出來，為用戶提供精確的查詢結(jié)果。金融行業(yè)招聘數(shù)據(jù)分析系統(tǒng)旨在提高數(shù)據(jù)挖掘的效率，便于科學(xué)的管理和分析招聘數(shù)據(jù)。

本文先分析金融行業(yè)招聘數(shù)據(jù)分析系統(tǒng)的背景和意義；對常見的爬蟲原理，獲取策略，信息提取等技術(shù)進(jìn)行分析；本系統(tǒng)使用python進(jìn)行開發(fā)，MySQL數(shù)據(jù)庫進(jìn)行搭建，實(shí)現(xiàn)了招聘的數(shù)據(jù)爬取；對數(shù)據(jù)庫的查詢結(jié)果進(jìn)行檢測并可視化分析，對系統(tǒng)的前臺(tái)界面進(jìn)行管理，分析爬取的結(jié)果，并對招聘數(shù)據(jù)結(jié)果進(jìn)行大屏顯示；最后通過測試實(shí)現(xiàn)了數(shù)據(jù)爬取，存儲(chǔ)過濾和數(shù)據(jù)可視化分析，以及系統(tǒng)管理等功能。

[關(guān)鍵詞] 爬蟲，python，大數(shù)據(jù)，關(guān)鍵字，招聘數(shù)據(jù)

?

Abstract

With the rapid development of social economy, people's living standards have been significantly improved, but the following social problems are also increasing. Among them, the most prominent problem is employment. To this end, the display of recruitment information has become increasingly important. However, in a large number of recruitment information, it is not easy for people to extract the information they want most, and the same is true for applicants. Through the analysis of the web crawler, this system studies the data of Zhitong talent website, tries to use Python technology for development, crawls out the recruitment information of Zhitong talent website as much as possible, detects and judges the results, and finally analyzes them visually to provide users with accurate query results. The financial industry recruitment data analysis system aims to improve the efficiency of data mining and facilitate scientific management and analysis of recruitment data.

This paper first analyzes the background and significance of the financial industry recruitment data analysis system; Common crawler principles, acquisition strategies, information extraction and other technologies are analyzed; The system uses python for development and MySQL database for construction, which realizes the data crawling of recruitment; Detect and visually analyze the query results of the database, manage the foreground interface of the system, analyze the crawling results, and display the recruitment data results on a large screen; Finally, the functions of data crawling, storage filtering, data visualization analysis, and system management are realized through testing.

[keywords] crawler, python, big data, keywords, recruitment data

?

目? 錄

摘 要 I

Abstract II

1 緒論 3

1.1 課題背景 3

1.2 課題意義 3

1.3 研究內(nèi)容 5

2 相關(guān)技術(shù)介紹 6

2.1 系統(tǒng)開發(fā)環(huán)境 6

2.2 網(wǎng)絡(luò)爬蟲概述 6

2.3 Python技術(shù) 7

2.4 MySQL數(shù)據(jù)庫 8

3 系統(tǒng)需求分析 9

3.1 可行性分析 9

3.1.1操作可行性 9

3.1.2經(jīng)濟(jì)可行性 9

3.1.3技術(shù)可行性 9

3.2 功能需求分析 9

3.2.1爬蟲功能需求分析 9

3.2.2數(shù)據(jù)可視化功能需求分析 10

3.3 非功能需求分析 11

4 系統(tǒng)設(shè)計(jì) 13

4.1 系統(tǒng)架構(gòu)設(shè)計(jì) 13

4.2 系統(tǒng)功能設(shè)計(jì) 14

4.2.1數(shù)據(jù)采集功能設(shè)計(jì) 14

4.2.2數(shù)據(jù)分析功能設(shè)計(jì) 14

4.3 系統(tǒng)流程設(shè)計(jì) 16

4.3.1爬蟲流程設(shè)計(jì) 16

4.3.2數(shù)據(jù)分析可視化流程 17

4.4 數(shù)據(jù)庫設(shè)計(jì) 18

5 系統(tǒng)實(shí)現(xiàn) 20

5.1數(shù)據(jù)采集的實(shí)現(xiàn) 20

5.2數(shù)據(jù)庫操作的實(shí)現(xiàn) 21

5.3系統(tǒng)首頁的實(shí)現(xiàn) 21

5.4招聘數(shù)據(jù)大屏顯示 22

6 系統(tǒng)測試 24

6.1測試目的 24

6.2功能測試 24

6.3測試總結(jié) 25

結(jié)? ? 論 26

參 考 文 獻(xiàn) 27

致 謝 28

?互聯(lián)網(wǎng)信息技術(shù)已經(jīng)發(fā)展了很長時(shí)間，時(shí)至今日，越來越多的終端設(shè)備出現(xiàn)在人們的生活中，各種網(wǎng)絡(luò)技術(shù)、移動(dòng)終端日益成熟，而且價(jià)格越來越平民化?；ヂ?lián)網(wǎng)技術(shù)已經(jīng)到了前所未有的高度，借助于網(wǎng)絡(luò)基礎(chǔ)設(shè)施的建設(shè)，各種電子芯片和云計(jì)算快速的發(fā)展。傳統(tǒng)信息的傳播方式逐漸萎靡，比如報(bào)紙雜志等，幾乎破產(chǎn)。目前人們只需要通過掌上電腦或者手機(jī)就可以查詢到自己所需的信息，之所以網(wǎng)絡(luò)設(shè)備如此受歡迎，是因?yàn)榻柚ヂ?lián)網(wǎng)技術(shù)所提供的強(qiáng)大信息呈現(xiàn)在網(wǎng)絡(luò)中，只需要通過手指一點(diǎn)，就可以獲取到自己想要知道的內(nèi)容。用戶只需要通過一個(gè)關(guān)鍵字，就可以從海量的信息中檢索出相關(guān)的信息詞條，然后將這些信息可視化呈現(xiàn)在用戶面前，這種方式受到了用戶的喜愛。

本課題所研究的金融行業(yè)招聘數(shù)據(jù)分析系統(tǒng)也廣泛存在于互聯(lián)網(wǎng)中，通過智通人才網(wǎng)搜索引擎，我們可以獲取到對應(yīng)的招聘數(shù)據(jù)，然而這些方法大多比較零碎，沒有進(jìn)行專門的分類，甚至存在一些假冒的和帶廣告性質(zhì)的宣傳，嚴(yán)重影響了招聘數(shù)據(jù)的獲取體驗(yàn)。

近年來，金融行業(yè)逐漸成為熱門行業(yè)，金融行業(yè)是個(gè)大范圍，這個(gè)行業(yè)實(shí)在太大，其中又有很多的分支領(lǐng)域。如何選擇前景好的，適合自己的領(lǐng)域重點(diǎn)發(fā)展，這是必然之路。目前大多數(shù)招聘平臺(tái)僅具有基礎(chǔ)的招聘信息篩選功能，缺乏為求職者進(jìn)行精準(zhǔn)信息推薦功能，無法提供及時(shí)且高質(zhì)量的招聘信息。

智通人才網(wǎng)目前是國內(nèi)比較大的專業(yè)招聘平臺(tái)，擁有大量的招聘信息和求職者。使用爬蟲技術(shù)，對智通人才網(wǎng)招聘數(shù)據(jù)進(jìn)行抓取，得到海量的信息，然后對數(shù)據(jù)進(jìn)行處理和分析，最終將分析的招聘數(shù)據(jù)數(shù)據(jù)可視化展現(xiàn)出來，可以服務(wù)大眾。因此，本選題將招聘數(shù)據(jù)信息的收集置于具體的智通人才網(wǎng)平臺(tái)，從而進(jìn)行研究招聘情況和崗位偏向。

在技術(shù)上，本文利用Python技術(shù)進(jìn)行數(shù)據(jù)爬取，這種簡潔快速，類庫豐富的編程語言可以輕松的實(shí)現(xiàn)爬蟲方法。先分析目標(biāo)網(wǎng)站的網(wǎng)頁信息，然后進(jìn)行數(shù)據(jù)處理，完成抓取后進(jìn)行數(shù)據(jù)存儲(chǔ)，最后完成數(shù)據(jù)的可視化呈現(xiàn)。數(shù)據(jù)存儲(chǔ)使用的是MySQL數(shù)據(jù)庫，這種數(shù)據(jù)庫輕巧而功能強(qiáng)大，可以有效的滿足系統(tǒng)的開發(fā)。

在業(yè)務(wù)上，本系統(tǒng)利用用戶無法在海量的智通人才網(wǎng)中查找到有效的招聘數(shù)據(jù)，因此設(shè)計(jì)了本系統(tǒng)對招聘數(shù)據(jù)進(jìn)行存儲(chǔ)，然后整理招聘數(shù)據(jù)，并通過可視化的方式展現(xiàn)出來。在后臺(tái)也可以對這些招聘數(shù)據(jù)進(jìn)行整理，為用戶提供更加精確的招聘數(shù)據(jù)信息。

本文根據(jù)軟件開發(fā)的思路，共設(shè)計(jì)了六個(gè)章節(jié)。

第一章緒論，介紹金融行業(yè)招聘數(shù)據(jù)分析系統(tǒng)的背景意義，分析爬蟲相關(guān)的技術(shù)和目前發(fā)展的趨勢。

第二章對系統(tǒng)的技術(shù)進(jìn)行分析，包括Python技術(shù)、爬蟲技術(shù)和數(shù)據(jù)庫技術(shù)等。

第三章對系統(tǒng)進(jìn)行需求分析，分析系統(tǒng)具有的功能需求。

第四章系統(tǒng)設(shè)計(jì)，通過設(shè)計(jì)爬蟲和系統(tǒng)功能以及數(shù)據(jù)庫來完成系統(tǒng)開發(fā)的設(shè)計(jì)階段。

第五章系統(tǒng)實(shí)現(xiàn)，通過系統(tǒng)實(shí)現(xiàn)的功能模塊，分步驟的介紹實(shí)現(xiàn)過程和相關(guān)的代碼。

第六章系統(tǒng)測試，通過測試過程來介紹系統(tǒng)所達(dá)到的功能以及可以實(shí)現(xiàn)的目的。

最后進(jìn)行總結(jié)、開發(fā)?？偨Y(jié)開發(fā)過程并提出對應(yīng)的展望，為未來的發(fā)展做出方向指引。

?