基于spark招生系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)-計(jì)算機(jī)畢業(yè)設(shè)計(jì)源碼+LW文檔

摘要

隨著高校的發(fā)展，教育改革的深入推進(jìn)，高考學(xué)生數(shù)量越來(lái)越多。高考志愿管理逐漸成為高校管理必不可少的組成部分。高考志愿包括高校信息、專(zhuān)業(yè)信息、招生信息等，管理員和教務(wù)部門(mén)需要耗費(fèi)大量的精力來(lái)管理高考志愿信息，嚴(yán)重影響了管理者的工作效率。如何高效的進(jìn)行高考志愿推薦管理是目前迫切需要的工作，而信息系統(tǒng)可以存儲(chǔ)大量數(shù)據(jù)信息，并提供快速的查詢(xún)推薦功能，可以為高考志愿的管理提供幫助，并可以降低管理者工作量，同時(shí)也可以進(jìn)行高考志愿信息的推薦。

基于spark招生系統(tǒng)利用SpringBoot框架開(kāi)發(fā)的一款管理系統(tǒng)，數(shù)據(jù)存儲(chǔ)到MySQL中，前臺(tái)使用Vue對(duì)界面進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)。本文先充分調(diào)查基于spark招生系統(tǒng)的需求分析，深入剖析系統(tǒng)應(yīng)該具有的功能，并設(shè)計(jì)完善的數(shù)據(jù)庫(kù)。利用成熟的開(kāi)發(fā)技術(shù)完成編碼工作，最后進(jìn)行投入前的測(cè)試工作。最終，完成前臺(tái)和后臺(tái)的基于spark招生系統(tǒng)的功能，主要包括院校管理模塊、用戶(hù)管理模塊、專(zhuān)業(yè)信息模塊、推薦模塊、志愿填報(bào)、論壇交流模塊、系統(tǒng)管理模塊等，通過(guò)前后臺(tái)實(shí)現(xiàn)數(shù)據(jù)的傳遞。

關(guān)鍵詞：spark；MySQL；院校管理；志愿推薦；高考；?

Abstract

With the development of universities and the deepening of educational reform, the number of college entrance examination students is increasing. The management of college entrance examination volunteers has gradually become an essential component of university management. College entrance examination volunteer information includes university information, professional information, enrollment information, etc. Administrators and academic affairs departments need to spend a lot of energy managing college entrance examination volunteer information, which seriously affects the work efficiency of managers. How to efficiently manage the recommendation of college entrance examination volunteers is currently an urgent task, and information systems can store a large amount of data information and provide fast query and recommendation functions, which can provide assistance for the management of college entrance examination volunteers and reduce the workload of managers. At the same time, they can also recommend college entrance examination volunteer information.

A management system developed based on the Spark enrollment system using the SpringBoot framework, where data is stored in MySQL and the front end uses Vue to design and implement the interface. This article first thoroughly investigates the requirements analysis based on the Spark enrollment system, deeply analyzes the functions that the system should have, and designs a comprehensive database. Utilize mature development techniques to complete coding work, and finally conduct pre investment testing work. Finally, complete the functions of the Spark enrollment system based on the front and back ends, mainly including the university management module, user management module, professional information module, recommendation module, volunteer filling module, forum communication module, system management module, etc., and achieve data transmission through the front and back ends.

Key words: Spark; MySQL； College management; Volunteer recommendation; college entrance examination;

隨著信息技術(shù)的發(fā)展，越來(lái)越多的高校通過(guò)管理系統(tǒng)來(lái)降低工作效率，對(duì)于高考志愿管理來(lái)說(shuō)，根據(jù)自身業(yè)務(wù)邏輯的特點(diǎn)和工作流程，非常適合搭建基于spark招生系統(tǒng)，幫助校園管理者分擔(dān)日常的管理任務(wù)，也可以通過(guò)基于spark招生系統(tǒng)推廣到其它高校使用?；趕park招生系統(tǒng)可以對(duì)當(dāng)前的業(yè)務(wù)管理進(jìn)行重新設(shè)計(jì)，擺脫傳統(tǒng)手工管理的弊端，減少人為錄入的錯(cuò)誤，提高了數(shù)據(jù)管理的精度，管理者也可以發(fā)布一些相關(guān)公告，引導(dǎo)在校學(xué)生積極的參與，更有利于校園文化的推進(jìn)。

本基于Java基于spark招生系統(tǒng)不僅僅是當(dāng)前高考志愿推薦工作的一種需要，也通過(guò)當(dāng)前先進(jìn)的軟件技術(shù)進(jìn)行開(kāi)發(fā)，研究易于擴(kuò)展的開(kāi)發(fā)框架，通過(guò)前后臺(tái)分離技術(shù)對(duì)系統(tǒng)進(jìn)行設(shè)計(jì)，提高信息安全，優(yōu)化數(shù)據(jù)查詢(xún)效率，節(jié)省開(kāi)發(fā)成本，便于系統(tǒng)升級(jí)和維護(hù)。

基于Java基于spark招生系統(tǒng)通過(guò)Java的tomcat服務(wù)器進(jìn)行部署，開(kāi)源免費(fèi)，部署簡(jiǎn)單，可以降低服務(wù)器的成本，并提高了數(shù)據(jù)傳輸效率。結(jié)合當(dāng)前基于spark招生系統(tǒng)的現(xiàn)狀，通過(guò)方便使用的web開(kāi)發(fā)模式進(jìn)行設(shè)計(jì)，方便管理者隨時(shí)隨地的管理，各使用者也可以通過(guò)瀏覽器訪問(wèn)系統(tǒng)，查看最新的通知公告等信息。本系統(tǒng)具有非常重要的現(xiàn)實(shí)意義，為高考志愿的發(fā)展提供了可持續(xù)發(fā)展道路。

在國(guó)內(nèi)，基于spark招生系統(tǒng)發(fā)展迅速，從最初的單片機(jī)處理時(shí)代發(fā)展到數(shù)據(jù)綜合處理時(shí)期，到目前的數(shù)據(jù)系統(tǒng)處理時(shí)期。信息技術(shù)的快速發(fā)展帶來(lái)了管理系統(tǒng)的質(zhì)的變化，在單片機(jī)處理時(shí)期，數(shù)據(jù)存儲(chǔ)有限，系統(tǒng)效率較低。在第二時(shí)期的數(shù)據(jù)綜合處理時(shí)期中，因?yàn)橛?jì)算機(jī)軟硬件水平較低而且價(jià)格昂貴，雖然基于spark招生系統(tǒng)得到了一定的發(fā)展，但是受限于昂貴的設(shè)備，不能全面普及開(kāi)來(lái)。目前的綜合數(shù)據(jù)系統(tǒng)時(shí)代，分布式開(kāi)發(fā)技術(shù)、微服務(wù)技術(shù)，數(shù)據(jù)庫(kù)技術(shù)逐漸完善，軟件設(shè)備價(jià)格低廉，帶動(dòng)了全面的發(fā)展，為基于spark招生系統(tǒng)的普及提供了基礎(chǔ)。相比單片機(jī)管理系統(tǒng)和客戶(hù)端服務(wù)器模式的系統(tǒng)，目前的輕客戶(hù)端模式大大降低了開(kāi)發(fā)成本，提高了數(shù)據(jù)管理的效率。每一臺(tái)客戶(hù)端不需要單獨(dú)安裝，通過(guò)瀏覽器即可訪問(wèn)。比如清華大學(xué)開(kāi)發(fā)的UEAS高?；趕park招生系統(tǒng)、正方軟件公司開(kāi)發(fā)的現(xiàn)代教育管理系統(tǒng)，都具有完善的功能，并隨著技術(shù)的更新不斷的升級(jí)。

Apache Spark是加州大學(xué)伯克利分校AMP實(shí)驗(yàn)室最初研發(fā)的，Spark可以稱(chēng)之為第三代核心大數(shù)據(jù)處理框架。相比于第一代大數(shù)據(jù)處理框架Hadoop和第二代大數(shù)據(jù)處理框架Storm,Spark將兩者的優(yōu)點(diǎn)集于一身。Spark 在實(shí)時(shí)計(jì)算中的吞吐量也是遠(yuǎn)遠(yuǎn)大于Storm的。

Spark計(jì)算引擎的核心計(jì)算框架是Spark Core,主要由Spark Core完成集群的運(yùn)算功能，并且為上層組件提供API。上層組件主要有以下幾個(gè)核心組件構(gòu)成:Spark SQL、Spark Streaming、MLlib 以及GraphX。

啟動(dòng)Spark集群處理的時(shí)候，分為幾步進(jìn)行。先把程序打包jar到集群運(yùn)行。Driver端啟動(dòng)SparkContext，生成task schelduer，向maste集群管理者請(qǐng)求運(yùn)算資源。executor向Driver端的SparkContext進(jìn)行反向注冊(cè)。DAG schelduer將用戶(hù)寫(xiě)的計(jì)算邏輯構(gòu)成DAG有向無(wú)環(huán)圖，這個(gè)集合最終由task schelduer 放送給executor做并行化運(yùn)算。

?

前臺(tái)實(shí)現(xiàn)的功能包括：學(xué)生用戶(hù)注冊(cè)、登錄，推薦院校，推薦專(zhuān)業(yè)、在線交流等。網(wǎng)站前臺(tái)會(huì)員的用戶(hù)需求是查詢(xún)?cè)盒：蛯?zhuān)業(yè)的信息，包括院校和專(zhuān)業(yè)信息、留言評(píng)論、在線交流。游客通過(guò)注冊(cè)后進(jìn)行登錄，成為會(huì)員。成為會(huì)員的用戶(hù)才能收藏，在線留言和交互，提出在填寫(xiě)志愿過(guò)程存在的問(wèn)題，其他有經(jīng)驗(yàn)的用戶(hù)提供在線回復(fù)幫助。會(huì)員用戶(hù)登錄后，可以在個(gè)人后臺(tái)對(duì)個(gè)人的信息進(jìn)行修改，查看個(gè)人的收藏歷史記錄。

管理員用戶(hù)具有的功能為：院校信息管理、專(zhuān)業(yè)信息管理、論壇交流管理、系統(tǒng)管理、管理員查看學(xué)生的留言信息，評(píng)論信息。