大數(shù)據(jù)是近五年興起的行業(yè)，發(fā)展迅速，很多技術(shù)經(jīng)過這些年的迭代也變得比較成熟了，同時新的東西也不斷涌現(xiàn)，想要保持自己競爭力的唯一辦法就是不斷學(xué)習(xí)。

大數(shù)據(jù)需要學(xué)習(xí)什么?很多人問過我這個問題?？偸菦]有一個合適的契機去好好總結(jié)這些內(nèi)容，直到開始寫這篇東西。大數(shù)據(jù)是近五年興起的行業(yè)，發(fā)展迅速，很多技術(shù)經(jīng)過這些年的迭代也變得比較成熟了，同時新的東西也不斷涌現(xiàn)，想要保持自己競爭力的唯一辦法就是不斷學(xué)習(xí)。

大數(shù)據(jù)需要的語言 Java

java可以說是大數(shù)據(jù)最基礎(chǔ)的編程語言，據(jù)我這些年的經(jīng)驗，我接觸的很大一部分的大數(shù)據(jù)開發(fā)都是從Jave Web開發(fā)轉(zhuǎn)崗過來的(當(dāng)然也不是絕對我甚至見過產(chǎn)品轉(zhuǎn)崗大數(shù)據(jù)開發(fā)的，逆了個天)。

一是因為大數(shù)據(jù)的本質(zhì)無非就是海量數(shù)據(jù)的計算，查詢與存儲，后臺開發(fā)很容易接觸到大數(shù)據(jù)量存取的應(yīng)用場景 二就是java語言本事了，天然的優(yōu)勢，因為大數(shù)據(jù)的組件很多都是用java開發(fā)的像HDFS,Yarn,Hbase,MR,Zookeeper等等，想要深入學(xué)習(xí)，填上生產(chǎn)環(huán)境中踩到的各種坑，必須得先學(xué)會java然后去啃源碼。

說到啃源碼順便說一句，開始的時候肯定是會很難，需要對組件本身和開發(fā)語言都有比較深入的理解，熟能生巧慢慢來，等你過了這個階段，習(xí)慣了看源碼解決問題的時候你會發(fā)現(xiàn)源碼真香。

Python和Shell

shell應(yīng)該不用過多的介紹非常的常用，屬于程序猿必備的通用技能。python更多的是用在數(shù)據(jù)挖掘領(lǐng)域以及寫一些復(fù)雜的且shell難以實現(xiàn)的日常腳本。

分布式計算

什么是分布式計算?分布式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然后把這些部分分配給許多服務(wù)器進(jìn)行處理，最后把這些計算結(jié)果綜合起來得到最終的結(jié)果。

舉個栗子，就像是組長把一個大項目拆分，讓組員每個人開發(fā)一部分，最后將所有人代碼merge，大項目完成。聽起來好像很簡單，但是真正參與過大項目開發(fā)的人一定知道中間涉及的內(nèi)容可不少。

比如這個大項目如何拆分?任務(wù)如何分配?每個人手頭已有工作怎么辦?每個人能力不一樣怎么辦?每個人開發(fā)進(jìn)度不一樣怎么辦?開發(fā)過程中組員生病要請長假他手頭的工作怎么辦?指揮督促大家干活的組長請假了怎么辦?最后代碼合并過程出現(xiàn)問題怎么辦?項目延期怎么辦?項目最后黃了怎么辦?

仔細(xì)想想上面的奪命十連問，其實每一條都是對應(yīng)了分布式計算可能會出現(xiàn)的問題，具體怎么對應(yīng)大家思考吧我就不多說了，其實已經(jīng)是非常明顯了。也許有人覺得這些問題其實在多人開發(fā)的時候都不重要不需要特別去考慮怎么辦，但是在分布式計算系統(tǒng)中不一樣，每一個都是非常嚴(yán)重并且非?；A(chǔ)的問題，需要有很好的解決方案。

最后提一下，分布式計算目前流行的工具有：

離線工具Spark，MapReduce等 實時工具Spark Streaming，Storm，F(xiàn)link等

分布式存儲

傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用的是集中的存儲服務(wù)器存放所有數(shù)據(jù)，單臺存儲服務(wù)器的io能力是有限的，這成為了系統(tǒng)性能的瓶頸，同時服務(wù)器的可靠性和安全性也不能滿足需求，尤其是大規(guī)模的存儲應(yīng)用。

分布式存儲系統(tǒng)，是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上。采用的是可擴展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展。

上圖是hdfs的存儲架構(gòu)圖，hdfs作為分布式文件系統(tǒng)，兼?zhèn)淞丝煽啃院蛿U展性，數(shù)據(jù)存儲3份在不同機器上(兩份存在同一機架，一份存在其他機架)保證數(shù)據(jù)不丟失。由NameNode統(tǒng)一管理元數(shù)據(jù)，可以任意擴展集群。

主流的分布式數(shù)據(jù)庫有很多hbase，mongoDB，GreenPlum，redis等等等等，沒有孰好孰壞之分，只有合不合適，每個數(shù)據(jù)庫的應(yīng)用場景都不同，其實直接比較是沒有意義的。

最后：

大家都知道大數(shù)據(jù)的技術(shù)日新月異，作為一個程序猿想要保持競爭力就必須得不斷地學(xué)習(xí)。

End.

來源：大數(shù)據(jù)觀察

加入iDATA數(shù)據(jù)分析社群的小伙伴 添加微信：lovedata19 備注「社群」即可