離線計(jì)算

離線計(jì)算就是在計(jì)算開始前已知所有輸入數(shù)據(jù)，輸入的數(shù)據(jù)不會(huì)再發(fā)生變化，且在解決一個(gè)問候就要立即得出結(jié)果的前提下進(jìn)行的計(jì)算。

離線計(jì)算框架主要有hadoop、spark、MapReduce、HDFS。其中MapReduce被各大公司作為數(shù)據(jù)處理的主要方案。

MapReduce的思想也是從早期的函數(shù)式編程語言中借鑒而來，推廣到了分布式系統(tǒng)中。

傳統(tǒng)的數(shù)據(jù)處理方式通常是將數(shù)據(jù)導(dǎo)入到專門的數(shù)據(jù)分析工具中，這樣會(huì)面臨兩個(gè)問題：

1、如果源數(shù)據(jù)非常大時(shí)，往往數(shù)據(jù)的移動(dòng)就要花費(fèi)較長時(shí)間。

2、傳統(tǒng)的數(shù)據(jù)處理工具往往是單機(jī)模型，面對(duì)海量數(shù)據(jù)時(shí)，數(shù)據(jù)處理的時(shí)間也是一個(gè)很大的問題。

?