基于網(wǎng)絡(luò)爬蟲技術(shù)的網(wǎng)絡(luò)新聞分析由以下幾個模塊構(gòu)成：

（1）數(shù)據(jù)采集模塊：負(fù)責(zé)原生網(wǎng)頁文檔數(shù)據(jù)采集與正文抽取。

（2）中文分詞模塊：負(fù)責(zé)網(wǎng)頁文檔數(shù)據(jù)的處理與分析，從數(shù)據(jù)庫讀取原始網(wǎng)頁文檔數(shù)據(jù)之后進(jìn)行中文分詞。

（3）中文相似度判定模塊：然后根據(jù)分詞結(jié)果再進(jìn)行相似度分析，并將分析結(jié)果為同一相似新聞的結(jié)果進(jìn)行存儲。

（4）數(shù)據(jù)結(jié)構(gòu)化存儲模塊：采集數(shù)據(jù)固化模塊，將數(shù)據(jù)采集模塊采集回來的原始網(wǎng)頁文檔進(jìn)行入庫固化。

（5）數(shù)據(jù)可視化展示模塊：負(fù)責(zé)將分析整理后的數(shù)據(jù)以圖表的形式繪制出來。