最近的項(xiàng)目中，需要對(duì)海量的原始數(shù)據(jù)進(jìn)行加工處理。并且數(shù)據(jù)的來(lái)源也不盡相同，數(shù)據(jù)處理鏈條很長(zhǎng)。針對(duì)這種實(shí)際應(yīng)用中的場(chǎng)景，有幾點(diǎn)小小的新的體會(huì)，特意總結(jié)一下。

1.最重要的是，編碼之前盡可能多地搞清楚原始數(shù)據(jù)各字段的含義。越是原始數(shù)據(jù)復(fù)雜，越是數(shù)據(jù)多，越是數(shù)據(jù)大，越是需要從業(yè)務(wù)角度理解數(shù)據(jù)的含義。否則可能因?yàn)橐粋€(gè)小小的細(xì)節(jié)，會(huì)讓你痛不欲生，白白浪費(fèi)好多時(shí)間，而且debug過(guò)程的痛苦，你懂的。

2.編碼前，盡可能定義清楚所需要的數(shù)據(jù)結(jié)構(gòu)。經(jīng)典理論里面的編碼就是算法+數(shù)據(jù)結(jié)構(gòu)，由此可見數(shù)據(jù)結(jié)構(gòu)的重要性。

3.個(gè)人的觀點(diǎn)是項(xiàng)目開始階段，數(shù)據(jù)結(jié)構(gòu)越簡(jiǎn)單越好，這樣編碼的難度，代碼的可讀性以及可維護(hù)性都比較好。使用復(fù)雜數(shù)據(jù)結(jié)構(gòu)的好處就是方便以后的擴(kuò)展，大部分時(shí)候，我們項(xiàng)目的復(fù)雜度不會(huì)太高，所以初始階段還是采用簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)為好。

4.數(shù)據(jù)量大了以后跑一個(gè)MR任務(wù)或者Spark任務(wù)的代價(jià)都不小?？斓脑捠昼姡脑捯粋€(gè)小時(shí)甚至幾個(gè)小時(shí)，而且還需要依賴集群的資源。這個(gè)時(shí)候，可以采用抽樣的方式先快速觀察代碼的輸出，以提高調(diào)試效率。另外，盡可能減少不必要的輸入數(shù)據(jù)，注意集群的日志輸出，也非常重要。