一、研究（設(shè)計(jì)）的目的和意義

1、研究的目的

????? 隨著大數(shù)據(jù)時(shí)代的到來，傳統(tǒng)的數(shù)據(jù)挖掘系統(tǒng)已經(jīng)不能很好的適應(yīng)其各種特性，系統(tǒng)中的數(shù)據(jù)挖掘模塊和底層的數(shù)據(jù)存儲(chǔ)架構(gòu)在處理海量農(nóng)業(yè)數(shù)據(jù)時(shí)存在存儲(chǔ)能力不足及資源處理效率不高等問題?；?/span>Hadoop平臺(tái)，我們可以減少數(shù)據(jù)集處理時(shí)間，消除重復(fù)計(jì)算和不必要計(jì)算，有效提升系統(tǒng)效率，利用這樣的特點(diǎn)，還可以讓我們的農(nóng)業(yè)實(shí)現(xiàn)動(dòng)態(tài)、多維的模式。

2、研究的意義

????? 科技正在以大數(shù)據(jù)的形式向農(nóng)業(yè)領(lǐng)域滲透，在我國農(nóng)業(yè)發(fā)展中，農(nóng)業(yè)生產(chǎn)要素已經(jīng)悄然改變。面朝黃土背朝天的傳統(tǒng)的農(nóng)民形象已被拋棄，科技的力量已使農(nóng)村勞動(dòng)力成為“網(wǎng)絡(luò)新農(nóng)人”。他們手中的農(nóng)業(yè)大數(shù)據(jù)平臺(tái)已成為新工具，可以隨時(shí)監(jiān)測(cè)到土壤、天氣、農(nóng)作物等相關(guān)數(shù)據(jù)，而越來越多農(nóng)民參與土地流轉(zhuǎn)，賦予土地更大效益的同時(shí)，也帶來收入的增加。因此，農(nóng)業(yè)大數(shù)據(jù)的發(fā)展應(yīng)用是建設(shè)農(nóng)業(yè)農(nóng)村現(xiàn)代化、實(shí)施鄉(xiāng)村振興戰(zhàn)略、推進(jìn)農(nóng)業(yè)農(nóng)村信息化發(fā)展和推動(dòng)我國從農(nóng)業(yè)大國走向農(nóng)業(yè)強(qiáng)國的有力抓手。

?

?

二、研究（設(shè)計(jì)）的國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢(shì)

1、國內(nèi)外現(xiàn)狀：國內(nèi)農(nóng)業(yè)大數(shù)據(jù)注重結(jié)合地域性特征的精細(xì)化管理。中國是典型的小農(nóng)經(jīng)濟(jì)，人口眾多，地勢(shì)遼闊，土地資源分配不均。在農(nóng)業(yè)大數(shù)據(jù)的發(fā)展上，一些宏觀農(nóng)業(yè)農(nóng)產(chǎn)品生產(chǎn)大數(shù)據(jù)平臺(tái)層出不窮。但是，做精細(xì)化的農(nóng)業(yè)大數(shù)據(jù)，卻沒有預(yù)想那么快，中國農(nóng)業(yè)大數(shù)據(jù)由于中國地域特點(diǎn)與數(shù)據(jù)采集基礎(chǔ)建設(shè)不完善等特點(diǎn)，面臨著農(nóng)業(yè)農(nóng)村數(shù)據(jù)歷史長、數(shù)量大、類型多、數(shù)據(jù)缺失、數(shù)據(jù)質(zhì)量不高、開發(fā)利用不夠等問題。在中國的新疆、東北、山東等地，大規(guī)模農(nóng)業(yè)生產(chǎn)相對(duì)成熟，精準(zhǔn)農(nóng)業(yè)與智慧農(nóng)業(yè)發(fā)展正微掀春風(fēng);但是在全國范圍內(nèi)，小規(guī)模的農(nóng)業(yè)生產(chǎn)方式以及巨大的地域差距，加上農(nóng)民在生產(chǎn)管理上的頑固性，推廣精準(zhǔn)農(nóng)業(yè)、做大數(shù)據(jù)分析依然舉步維艱。

在發(fā)達(dá)國家，注重大數(shù)據(jù)的精準(zhǔn)化、智能化。尤其在美國，農(nóng)業(yè)大數(shù)據(jù)與精準(zhǔn)農(nóng)業(yè)概念相結(jié)合，已經(jīng)應(yīng)用于大部分農(nóng)場(chǎng)并產(chǎn)生理想收益。通過對(duì)農(nóng)業(yè)生產(chǎn)全過程的精準(zhǔn)化、智能化管理，可以極大程度的減少化肥、水資源、農(nóng)藥等投入，提高作業(yè)質(zhì)量，農(nóng)業(yè)經(jīng)營變得有序化，從而為轉(zhuǎn)向規(guī)模化經(jīng)營打下良好基礎(chǔ)。

2、發(fā)展趨勢(shì)

大數(shù)據(jù)飛速發(fā)展并已經(jīng)融入到人們生活的各個(gè)方面，得到人們的廣泛認(rèn)可。而于大數(shù)據(jù)相關(guān)的商業(yè)活動(dòng)也越來越多，大數(shù)據(jù)正悄然的改變著人們的生活。傳統(tǒng)農(nóng)業(yè)已經(jīng)不能滿足人們的需求，大數(shù)據(jù)的出現(xiàn)為農(nóng)業(yè)發(fā)展帶來新的契機(jī)。目前，大數(shù)據(jù)在農(nóng)業(yè)上已經(jīng)得到了諸多應(yīng)用，但我國農(nóng)業(yè)大數(shù)據(jù)的發(fā)展還暫時(shí)處于起步階段。但是，隨著我國農(nóng)業(yè)轉(zhuǎn)型的加快、國家的大力支持、大數(shù)據(jù)技術(shù)的飛速發(fā)展，農(nóng)業(yè)大數(shù)據(jù)將在我國得到更加廣泛地應(yīng)用。 ? 由以上分析可以看出，我國農(nóng)業(yè)現(xiàn)代化和農(nóng)業(yè)信息化遠(yuǎn)低于發(fā)達(dá)國家水平，但是，大數(shù)據(jù)的發(fā)展為農(nóng)業(yè)問題的解決帶來了新的思路。農(nóng)業(yè)大數(shù)據(jù)對(duì)農(nóng)業(yè)信息化、機(jī)械化有極大的促進(jìn)作用，我國正處于農(nóng)業(yè)轉(zhuǎn)型的關(guān)鍵時(shí)期，需抓緊此次機(jī)遇。 ?

三、研究的主要內(nèi)容及擬解決的主要問題

1、研究的主要內(nèi)容：通過自主研發(fā)的人工智能大數(shù)據(jù)分析平臺(tái)，實(shí)現(xiàn)了該AIoT技術(shù)解決方案中 的人工智能功能部分，賦能“全面農(nóng)業(yè)大數(shù)據(jù)”，對(duì)農(nóng)業(yè)監(jiān)測(cè)的實(shí)時(shí)和歷史數(shù)據(jù)以及農(nóng)產(chǎn)品的產(chǎn)量、銷量進(jìn)行處理、挖掘和分析的深度應(yīng)用，并且實(shí)現(xiàn)遠(yuǎn)程聘請(qǐng)專家，對(duì)大數(shù)據(jù)分析的結(jié)果給予指導(dǎo)性建議?；?/span>Hadoop平臺(tái)，根據(jù)溫室農(nóng)業(yè)大棚監(jiān)測(cè)指標(biāo)變化趨勢(shì)預(yù)測(cè)預(yù)判的需求任務(wù)，以及面向物聯(lián)網(wǎng)構(gòu)建的農(nóng)業(yè)數(shù)據(jù)集的特點(diǎn)，來設(shè)計(jì)定制化的機(jī)器學(xué)習(xí)模型，并在運(yùn)行環(huán)境下，無縫對(duì)接農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)、數(shù)據(jù)倉庫、智慧農(nóng)業(yè)監(jiān)控管理系統(tǒng)和數(shù)據(jù)服務(wù)發(fā)布系統(tǒng)。基于Hadoop的智慧農(nóng)業(yè)大數(shù)據(jù)分析平臺(tái)整體架構(gòu)如圖所示。

2、擬解決的主要問題

（1）硬件配置資源

（2）虛擬機(jī)環(huán)境配置

（3）hadoop集群安裝

（4）數(shù)據(jù)挖掘功能的實(shí)現(xiàn)，把農(nóng)業(yè)大數(shù)據(jù)輸入到管理系統(tǒng)的每個(gè)節(jié)點(diǎn)上，調(diào)用 Ma-p Reduce 功能，讓大數(shù)據(jù)挖掘數(shù)學(xué)運(yùn)算運(yùn)行起來，把數(shù)據(jù)的處理結(jié)果輸送到分布式文件系統(tǒng)，通過人機(jī)交互界面呈現(xiàn)給用戶。

?

四、采用研究方法及研究或設(shè)計(jì)思路

1、研究方法

在Hadoop平臺(tái)中，從數(shù)據(jù)采集端得到的數(shù)據(jù)首先以MySQL普通數(shù)據(jù)庫存儲(chǔ)，Hadoop讀取Excel文件并以HDFS分布式文件的方式進(jìn)行存儲(chǔ)，當(dāng)數(shù)據(jù)量超過預(yù)設(shè)時(shí)，可以方便的擴(kuò)充存儲(chǔ)節(jié)點(diǎn)；MapReduce在處理數(shù)據(jù)時(shí)，首先對(duì)文件進(jìn)行拆分處理，同時(shí)利用Hive技術(shù)簡化處理過程，提高了數(shù)據(jù)處理、分析效率；分析后的最終數(shù)據(jù)通過HBase進(jìn)行存儲(chǔ)，通過網(wǎng)站圖形界面方便的展示分析后的各種農(nóng)產(chǎn)品大數(shù)據(jù)；數(shù)據(jù)預(yù)測(cè)模型根據(jù)處理后的數(shù)據(jù)準(zhǔn)確、方便的預(yù)測(cè)下季農(nóng)產(chǎn)品數(shù)據(jù)。

（1）基于Hadoop平臺(tái)的智慧農(nóng)業(yè)大數(shù)據(jù)平臺(tái)的技術(shù)路線

(2)hadoop所含的子項(xiàng)項(xiàng)目的功能

組件

?????????????????????? 功能

HDFS

分布式文件系統(tǒng)

MapReduce

分布式并行編程模型

Hive

Hadoop上的數(shù)據(jù)處理倉庫

Hbase

Hadoop的非關(guān)系型的分布式數(shù)據(jù)庫

?2、設(shè)計(jì)思路

本文設(shè)計(jì)了基于 Hadoop 的農(nóng)業(yè)數(shù)據(jù)挖掘系統(tǒng)。該系統(tǒng)利 用 Hadoop 的優(yōu)良的集群特性，強(qiáng)大的計(jì)算能力，存儲(chǔ)能力，靈活的伸縮性和 ? 擴(kuò)展性，可以很好的達(dá)到以上的設(shè)計(jì)目標(biāo)。

本文的設(shè)計(jì)思路是：充分利用 Hadoop 的集群特征，將數(shù)據(jù)挖掘系統(tǒng)中需

要巨大計(jì)算能力的各個(gè)模塊的計(jì)算和存儲(chǔ)要求擴(kuò)展到 Hadoop 集群中的各個(gè)節(jié)

點(diǎn)上，利用集群的并行計(jì)算能力和擴(kuò)展能力來進(jìn)行相關(guān)數(shù)據(jù)挖掘工作。我們可 ?

以采用分層的設(shè)計(jì)思想。在底層使用 Hadoop 來存儲(chǔ)、分析和處理巨大的數(shù)據(jù)

量，而在高層通過接口直接透明的調(diào)用底層的計(jì)算和存儲(chǔ)能力。具體思想是： ?

（1）存儲(chǔ)

在整個(gè)系統(tǒng)中，我們可以使用 HDFS 來存儲(chǔ)文件和數(shù)據(jù)。HDFS 具有很高

的數(shù)據(jù)吞吐量，并且很好的實(shí)現(xiàn)了容錯(cuò)機(jī)制。HDFS 提供了多種訪問接口，包

括 API 以及各種操作命令。使用 HDFS，我們可以為原始的大數(shù)據(jù)集提供存儲(chǔ)

空間，對(duì)臨時(shí)文件進(jìn)行存儲(chǔ)，為數(shù)據(jù)處理、數(shù)據(jù)挖掘過程提供輸入數(shù)據(jù)，同時(shí) ?

輸出的數(shù)據(jù)我們也保存在 HDFS 中。

（2）計(jì)算

在系統(tǒng)中，我們可以使用 Map/Reduce 平臺(tái)來支撐農(nóng)業(yè)大數(shù)據(jù)海量挖掘的并

行高效處理。Map/Reduce 平臺(tái)具有很好的伸縮性和擴(kuò)展性，它可以屏蔽掉底層，

通過提供的編程接口使我們可以快速的實(shí)現(xiàn)各種算法的并行。實(shí)現(xiàn)過程中我們 ?

都需要緊緊結(jié)合 HDFS。在系統(tǒng)中的數(shù)據(jù)挖掘過程我們可以通過 Map/Reduce 來實(shí)現(xiàn)，這會(huì)大大的提高系統(tǒng)的效率。

?

五、進(jìn)度與時(shí)間安排

2021 年 1 月：系統(tǒng)需求分析，撰寫開題報(bào)告，進(jìn)行開題答辯；

2021 年 1 月—2 月：閱讀文獻(xiàn)資料，撰寫文獻(xiàn)綜述；

2021 年 2 月—3 月：系統(tǒng)功能模塊分析及軟件設(shè)計(jì)；

2021 年 3 月—5 月：系統(tǒng)軟件實(shí)現(xiàn)及系統(tǒng)測(cè)試；

2021 年 5 月上旬：系統(tǒng)優(yōu)化，撰寫論文初稿；

2021 年 5 月中旬：提交論文二稿；

2021 年 5 月下旬：提交論文終稿；

2021 年 6 月：論文答辯，提交歸檔材料。

?

六、主要參考文獻(xiàn)

[1]王道雄. 基于Hadoop平臺(tái)的農(nóng)業(yè)土壤數(shù)據(jù)可視化研究[D].華中師范大學(xué),2020.

[2] 侯亮,王新棟,高倩,劉素英.基于 Hadoop 的農(nóng)業(yè)大數(shù)據(jù)挖掘系統(tǒng)構(gòu)建[J].農(nóng)業(yè)圖書情報(bào)刊,2018,30(7):19-21.

[3] 郭二秀.基于 Spark 的農(nóng)業(yè)大數(shù)挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].浙江大學(xué),2018.

[4] 杜俊良. 基于 Hadoop 的農(nóng)業(yè)大數(shù)據(jù)處理系統(tǒng)研究 [D].河南師范大學(xué),2017.

[5] 焦改英.基于分布式算法的智能農(nóng)業(yè)檢索與管理系統(tǒng)設(shè)計(jì)[J].自動(dòng)化與儀器儀表,2016(11):93-95.

[6] 柴進(jìn).基于 Hadoop 的農(nóng)業(yè)數(shù)據(jù)挖掘系統(tǒng)的研究與實(shí)現(xiàn)[D].北京工業(yè)大學(xué),2015.

[7]李紅麗.Hadoop與Map Reduce應(yīng)用下的大數(shù)據(jù)處理系統(tǒng)設(shè)計(jì)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用,2021(09):48-50.

[8]潘俊輝,王輝,張強(qiáng),王浩暢.Hadoop平臺(tái)下實(shí)現(xiàn)文本分類的優(yōu)化算法[J].計(jì)算機(jī)與數(shù)字工程,2021,49(10):2043-2047.

[9]朱潔，羅華霖.大數(shù)據(jù)架構(gòu)詳解從數(shù)據(jù)獲取到深度學(xué)習(xí).電子工業(yè)出版社，2017.

[10]李嬌龍.基于Hadoop的云計(jì)算應(yīng)用研究[D].電子科技大學(xué)，2014.

?

?