最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會員登陸 & 注冊

Apache Hadoop版本詳解

2021-09-27 10:48 作者:Vecloud_  | 我要投稿



由于Hadoop版本混亂多變,因此,Hadoop的版本選擇問題一直令很多初級用戶苦惱。本文總結(jié)了ApacheHadoop和Cloudera Hadoop的版本衍化過程,并給出了選擇Hadoop版本的一些建議。
1.Apache HadoopApache版本衍化
截至目前(2012年12月23日),ApacheHadoop版本分為兩代,我們將第一代Hadoop稱為Hadoop 1.0,第二代Hadoop稱為Hadoop2.0。第一代Hadoop包含三個大版本,分別是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,變成了穩(wěn)定版,而0.21.x和0.22.x則NameNodeHA等新的重大特性。第二代Hadoop包含兩個版本,分別是0.23.x和2.x,它們完全不同于Hadoop1.0,是一套全新的架構(gòu),均包含HDFS Federation和YARN兩個系統(tǒng),相比于0.23.x,2.x增加了NameNodeHA和Wire-compatibility兩個重大特性。
經(jīng)過上面的大體解釋,大家可能明白了Hadoop以重大特性區(qū)分各個版本的,總結(jié)起來,用于區(qū)分Hadoop版本的特性有以下幾個:
(1)Append支持文件追加功能,如果想使用HBase,需要這個特性。
(2)RAID在保證數(shù)據(jù)可靠的前提下,通過引入校驗(yàn)碼較少數(shù)據(jù)塊數(shù)目。詳細(xì)鏈接:
https://issues.apache.org/jira/browse/HDFS/component/12313080
(3)Symlink支持HDFS文件鏈接,具體可參考:https://issues.apache.org/jira/browse/HDFS-245
(4)SecurityHadoop安全,具體可參考:https://issues.apache.org/jira/browse/HADOOP-4487
(5)NameNodeHA具體可參考:https://issues.apache.org/jira/browse/HDFS-1064
(6)HDFSFederation和YARN



需要注意的是,Hadoop2.0主要由Yahoo獨(dú)立出來的hortonworks公司主持開發(fā)。
Apache版本下載
(1)各版本說明:http://hadoop.apache.org/releases.html。
(2)下載穩(wěn)定版:找到一個鏡像,下載stable文件夾下的版本。
(3)Hadoop最全版本:http://svn.apache.org/repos/asf/hadoop/common/branches/,可直接導(dǎo)到eclipse中。
2.Cloudera HadoopCDH版本衍化
Apache當(dāng)前的版本管理是比較混亂的,各種版本層出不窮,讓很多初學(xué)者不知所措,相比之下,Cloudera公司的Hadoop版本管理的要很多。
我們知道,Hadoop遵從Apache開源協(xié)議,用戶可以免費(fèi)地任意使用和修改Hadoop,也正因此,市面上出現(xiàn)了很多Hadoop版本,其中比較出名的一是Cloudera公司的發(fā)行版,我們將該版本稱為CDH(ClouderaDistributionHadoop)。截至目前為止,CDH共有4個版本,其中,前兩個已經(jīng)不再更新,最近的兩個,分別是CDH3(在Apache Hadoop0.20.2版本基礎(chǔ)上演化而來的)和CDH4在Apache Hadoop2.0.0版本基礎(chǔ)上演化而來的),分別對應(yīng)Apache的Hadoop 1.0和Hadoop2.0,它們每隔一段時間便會更新一次。



Cloudera以patch level劃分小版本,比如patch level為923.142表示在原生態(tài)Apache Hadoop0.20.2基礎(chǔ)上添加了1065個patch(這些patch是各個公司或者個人貢獻(xiàn)的,在Hadoopjira上均有記錄),其中923個是最后一個beta版本添加的patch,而142個是穩(wěn)定版發(fā)行后新添加的patch。由此可見,patchlevel越高,功能越完備且解決的bug越多。
Cloudera版本層次更加清晰,且它提供了適用于各種操作系統(tǒng)的Hadoop安裝包,可直接使用apt-get或者yum命令進(jìn)行安裝,更加省事。
CDH版本下載
(1)版本含義介紹:
https://ccp.cloudera.com/display/DOC/CDH+Version+and+Packaging+Information
(2)各版本特性查看:
https://ccp.cloudera.com/display/DOC/CDH+Packaging+Information+for+Previous+Releases
(3)各版本下載:
CDH3:http://archive.cloudera.com/cdh/3/
CDH4:http://archive.cloudera.com/cdh5/cdh/4/
注意,Hadoop壓縮包在這兩個鏈接中的最上層目錄中,不在某個文件夾里,很多人進(jìn)到鏈接還找不到安裝包!
3.如何選擇Hadoop版本
當(dāng)前Hadoop版本比較混亂,讓很多用戶不知所措。實(shí)際上,當(dāng)前Hadoop只有兩個版本:Hadoop1.0和Hadoop 2.0,其中,Hadoop1.0由一個分布式文件系統(tǒng)HDFS和一個離線計(jì)算框架MapReduce組成,而Hadoop2.0則包含一個支持NameNode橫向擴(kuò)展的HDFS,一個資源管理系統(tǒng)YARN和一個運(yùn)行在YARN上的離線計(jì)算框架MapReduce。相比于Hadoop1.0,Hadoop 2.0功能更加強(qiáng)大,且具有更好的擴(kuò)展性、性能,并支持多種計(jì)算框架。
當(dāng)我們決定是否采用某個軟件用于開源環(huán)境時,通常需要考慮以下幾個因素:
(1)是否為開源軟件,即是否免費(fèi)。
(2)是否有穩(wěn)定版,這個一般軟件官方網(wǎng)站會給出說明。
(3)是否經(jīng)實(shí)踐驗(yàn)證,這個可通過檢查是否有一些大點(diǎn)的公司已經(jīng)在生產(chǎn)環(huán)境中使用知道。
(4)是否有強(qiáng)大的社區(qū)支持,當(dāng)出現(xiàn)一個問題時,能夠通過社區(qū)、論壇等網(wǎng)絡(luò)資源快速獲取解決方法。
考慮到以上幾個因素,我們分析一下開源軟件Hadoop。對于Hadoop2.0而言,目前尚不穩(wěn)定,無法用于生產(chǎn)環(huán)境,因此,如果當(dāng)前你正準(zhǔn)備使用Hadoop,那么只能從Hadoop1.0中選擇一個版本,而目截至目前(2012年12月23日),Apache和Cloudera最新的穩(wěn)定版分別是Hadoop1.0.4和CDH3U4,因此,你可以從中任選一個使用。
總結(jié)
以上所述是小編給大家介紹的Apache Hadoop版本詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對Vecloud網(wǎng)站的支持!Vecloud微云以先進(jìn)的MPLS為基礎(chǔ)架構(gòu)的網(wǎng)絡(luò)來連接中國境內(nèi)不同的地方。除了提供客戶網(wǎng)絡(luò)連接外,更為客戶提供端到端、主動式的全程網(wǎng)絡(luò)管理服務(wù)。同時可根據(jù)客戶的不同需求提供多種數(shù)據(jù)/語音/視頻等CPE設(shè)備的組合捆綁服務(wù),在滿足客戶業(yè)務(wù)需求的同時,也幫助客戶節(jié)省投資。

了解更多網(wǎng)絡(luò)知識關(guān)注:http://www.vecloud.com/

Apache Hadoop版本詳解的評論 (共 條)

分享到微博請遵守國家法律
曲麻莱县| 五指山市| 汉寿县| 甘肃省| 衡水市| 丰原市| 安图县| 蓝山县| 汉沽区| 遂川县| 钟山县| 宜兰市| 富民县| 兴海县| 北流市| 呈贡县| 九江县| 周至县| 都昌县| 九台市| 大方县| 佛冈县| 朝阳市| 镇坪县| 安国市| 洛南县| 永昌县| 大余县| 延安市| 西乌珠穆沁旗| 肥西县| 丹凤县| 江油市| 宁都县| 阿鲁科尔沁旗| 邹平县| 京山县| 台江县| 宁蒗| 白朗县| 布尔津县|