小象學(xué)院爬蟲(chóng)實(shí)戰(zhàn)課
2023-02-23 10:36 作者:XIAO6369633 | 我要投稿
HDFS有什么用
整個(gè)Hadoop框架,本質(zhì)上來(lái)說(shuō)都是基于分布式實(shí)現(xiàn)的,隨著數(shù)據(jù)規(guī)模的越來(lái)越大,一臺(tái)機(jī)器無(wú)法存儲(chǔ)所有的數(shù)據(jù),所以需要多臺(tái)機(jī)器來(lái)存儲(chǔ)。而多臺(tái)機(jī)器存儲(chǔ)又不方便管理,所以需要一個(gè)分布式的系統(tǒng)來(lái)管理分布在不同機(jī)器中的數(shù)據(jù)。
事實(shí)上,HDFS的出現(xiàn),就是為了解決分布式框架下,數(shù)據(jù)存儲(chǔ)管理的問(wèn)題。而HDFS只是分布式文件系統(tǒng)中的一種,依托于Hadoop生態(tài),去承擔(dān)大數(shù)據(jù)分布式存儲(chǔ)的管理任務(wù)。
標(biāo)簽: