內(nèi)容摘要

隨著社會經(jīng)濟(jì)的快速發(fā)展，人們的生活水平得到了顯著提高，但隨之而來的社會問題也越來越多。其中最為顯著的就是就業(yè)問題。為此，招聘信息的展示也變得越來越為重要。但是在大量的招聘信息中，人們在提取自己最想要的信息時(shí)變得不那么容易，對于應(yīng)聘者也是如此。本系統(tǒng)通過對網(wǎng)絡(luò)爬蟲的分析，研究智通人才網(wǎng)站數(shù)據(jù)，嘗試使用Python技術(shù)進(jìn)行開發(fā)，將智通人才網(wǎng)招聘信息盡可能的爬取出來，并對結(jié)果進(jìn)行檢測判斷，最后可視化分析出來，為用戶提供精確的查詢結(jié)果。IT行業(yè)招聘數(shù)據(jù)分析與崗位推薦系統(tǒng)旨在提高數(shù)據(jù)挖掘的效率，便于科學(xué)的管理和分析招聘數(shù)據(jù)。

本文先分析IT行業(yè)招聘數(shù)據(jù)分析與崗位推薦系統(tǒng)的背景和意義；對常見的爬蟲原理，獲取策略，信息提取等技術(shù)進(jìn)行分析；本系統(tǒng)使用python進(jìn)行開發(fā)，MySQL數(shù)據(jù)庫進(jìn)行搭建，實(shí)現(xiàn)了招聘的數(shù)據(jù)爬??；對數(shù)據(jù)庫的查詢結(jié)果進(jìn)行檢測并可視化分析，對系統(tǒng)的前臺界面進(jìn)行管理，分析爬取的結(jié)果，并對招聘數(shù)據(jù)結(jié)果進(jìn)行大屏顯示；最后通過測試實(shí)現(xiàn)了數(shù)據(jù)爬取，存儲過濾和數(shù)據(jù)可視化分析，以及系統(tǒng)管理等功能。

關(guān)鍵字

爬蟲，python，大數(shù)據(jù)，關(guān)鍵字，招聘數(shù)據(jù)

?

Abstract

With the rapid development of social economy, people's living standards have been significantly improved, but the following social problems are also increasing. Among them, the most prominent problem is employment. To this end, the display of recruitment information has become increasingly important. However, in a large number of recruitment information, it is not easy for people to extract the information they want most, and the same is true for applicants. Through the analysis of web crawlers, this system studies the data of Zhaopin recruitment website, tries to use Python technology for development, crawls out the recruitment information of Zhaopin recruitment website as much as possible, detects and judges the results, and finally analyzes them visually to provide users with accurate query results. The recruitment website information crawling and data analysis system based on Python aims to improve the efficiency of data mining and facilitate scientific management and analysis of recruitment data.

This paper first analyzes the background and significance of the information crawling and data analysis system of recruitment websites based on Python; Common crawler principles, acquisition strategies, information extraction and other technologies are analyzed; The system uses python for development and MySQL database for construction, which realizes the data crawling of recruitment; Detect and visually analyze the query results of the database, manage the foreground interface of the system, analyze the crawling results, and display the recruitment data results on a large screen; Finally, the functions of data crawling, storage filtering, data visualization analysis, and system management are realized through testing.

KEY WORDS

crawler, python, Zhaopin.com, keywords, recruitment data

?

目? 錄

摘 要 I

Abstract II

1 緒論 3

1.1 課題背景 3

1.2 課題意義 3

1.3 研究內(nèi)容 4

2 相關(guān)技術(shù)介紹 6

2.1 系統(tǒng)開發(fā)環(huán)境 6

2.2 網(wǎng)絡(luò)爬蟲概述 6

2.3 Python技術(shù) 7

2.4 MySQL數(shù)據(jù)庫 8

3 系統(tǒng)需求分析 9

3.1 可行性分析 9

3.1.1操作可行性 9

3.1.2經(jīng)濟(jì)可行性 9

3.1.3技術(shù)可行性 9

3.2 功能需求分析 9

3.2.1爬蟲功能需求分析 9

3.2.2數(shù)據(jù)可視化功能需求分析 11

3.3 非功能需求分析 11

4 系統(tǒng)設(shè)計(jì) 13

4.1 系統(tǒng)架構(gòu)設(shè)計(jì) 13

4.2 系統(tǒng)功能設(shè)計(jì) 14

4.2.1數(shù)據(jù)采集功能設(shè)計(jì) 14

4.2.2數(shù)據(jù)分析功能設(shè)計(jì) 15

4.3 系統(tǒng)流程設(shè)計(jì) 16

4.3.1爬蟲流程設(shè)計(jì) 16

4.3.2數(shù)據(jù)分析可視化流程 17

4.4 數(shù)據(jù)庫設(shè)計(jì) 19

5 系統(tǒng)實(shí)現(xiàn) 21

5.1數(shù)據(jù)采集的實(shí)現(xiàn) 21

5.2數(shù)據(jù)庫操作的實(shí)現(xiàn) 22

5.3系統(tǒng)首頁的實(shí)現(xiàn) 22

5.4招聘數(shù)據(jù)大屏顯示 23

6 系統(tǒng)測試 25

6.1測試目的 25

6.2功能測試 25

6.3測試總結(jié) 26

結(jié)? ? 論 27

參 考 文 獻(xiàn) 28

致 謝 29

?

在技術(shù)上，本文利用Python技術(shù)進(jìn)行數(shù)據(jù)爬取，這種簡潔快速，類庫豐富的編程語言可以輕松的實(shí)現(xiàn)爬蟲方法。先分析目標(biāo)網(wǎng)站的網(wǎng)頁信息，然后進(jìn)行數(shù)據(jù)處理，完成抓取后進(jìn)行數(shù)據(jù)存儲，最后完成數(shù)據(jù)的可視化呈現(xiàn)。數(shù)據(jù)存儲使用的是MySQL數(shù)據(jù)庫，這種數(shù)據(jù)庫輕巧而功能強(qiáng)大，可以有效的滿足系統(tǒng)的開發(fā)。

在業(yè)務(wù)上，本系統(tǒng)利用用戶無法在海量的智通人才網(wǎng)中查找到有效的招聘數(shù)據(jù)，因此設(shè)計(jì)了本系統(tǒng)對招聘數(shù)據(jù)進(jìn)行存儲，然后整理招聘數(shù)據(jù)，并通過可視化的方式展現(xiàn)出來。在后臺也可以對這些招聘數(shù)據(jù)進(jìn)行整理，為用戶提供更加精確的招聘數(shù)據(jù)信息。

本文根據(jù)軟件開發(fā)的思路，共設(shè)計(jì)了六個(gè)章節(jié)。

第一章緒論，介紹IT行業(yè)招聘數(shù)據(jù)分析與崗位推薦系統(tǒng)的背景意義，分析爬蟲相關(guān)的技術(shù)和目前發(fā)展的趨勢。

第二章對系統(tǒng)的技術(shù)進(jìn)行分析，包括Python技術(shù)、爬蟲技術(shù)和數(shù)據(jù)庫技術(shù)等。

第三章對系統(tǒng)進(jìn)行需求分析，分析系統(tǒng)具有的功能需求。

第四章系統(tǒng)設(shè)計(jì)，通過設(shè)計(jì)爬蟲和系統(tǒng)功能以及數(shù)據(jù)庫來完成系統(tǒng)開發(fā)的設(shè)計(jì)階段。

第五章系統(tǒng)實(shí)現(xiàn)，通過系統(tǒng)實(shí)現(xiàn)的功能模塊，分步驟的介紹實(shí)現(xiàn)過程和相關(guān)的代碼。

第六章系統(tǒng)測試，通過測試過程來介紹系統(tǒng)所達(dá)到的功能以及可以實(shí)現(xiàn)的目的。

最后進(jìn)行總結(jié)、開發(fā)。總結(jié)開發(fā)過程并提出對應(yīng)的展望，為未來的發(fā)展做出方向指引。