r0ysue大數(shù)據(jù)安全進(jìn)階培訓(xùn)班 學(xué)習(xí)筆記
大數(shù)據(jù)安全技術(shù)：
數(shù)據(jù)收集：flume + kafka
sqoop(發(fā)音:skup,sql-to-hadoop)傳統(tǒng)數(shù)據(jù)庫(kù)和hadoop之間數(shù)據(jù)同步工具數(shù)據(jù)存儲(chǔ)HDFS + zookeeper (分布式協(xié)作服務(wù))+YARN/mesos（資源管理）
數(shù)據(jù)計(jì)算：mapreduce 離線批量計(jì)算，大量的中間文件
spark 離線批量計(jì)算的標(biāo)桿，內(nèi)存計(jì)算 性能提升， OOM 風(fēng)險(xiǎn)
Flink/Blink 流計(jì)算
storm 流計(jì)算的標(biāo)桿，多用于實(shí)時(shí)計(jì)算并更新數(shù)據(jù)庫(kù)
pig（基于hadoop的數(shù)據(jù)流系統(tǒng)）
標(biāo)簽：
