開發(fā)技術

pyspark hadoop mysql 爬蟲 echarts大屏

說明

整體業(yè)用戶需要注冊的時候通過郵箱驗證碼接收驗證碼完成注冊，然后可以登陸業(yè)務流程，做個登錄頁，新。登錄進去以后，有個爬取數(shù)據(jù)的列表分頁，支持多條件查詢，上面有個爬取按鈕，點一下就可以爬取數(shù)據(jù)更新列表。還有一個協(xié)同過濾商品推薦菜單，不同的用戶登錄能夠推薦不同的商品，這里要注意新用戶登錄也可以推薦，但是登陸完瀏覽完收藏完以后下次登錄推薦的又不一樣了(下次可調(diào)用協(xié)同過濾).有一個大屏統(tǒng)計圖菜單連接，點一下，直接打開新窗口調(diào)轉(zhuǎn)到單獨一個新頁面：PySpark大屏

功能

數(shù)據(jù)爬取用selenium爬完商品、評論等等數(shù)據(jù)，清洗下雜質(zhì)不完整的數(shù)據(jù)，把它們過濾掉，留下完整齊全的數(shù)據(jù)信息存到mysql。

有注冊/登錄功能，注冊需要郵箱驗證碼。

登錄成功進入以后有一個爬取數(shù)據(jù)的分頁列表，支持多條件查詢，上面有個爬取按鈕，點一下直接調(diào)爬蟲腳本完成爬取，更新列表。

有個協(xié)同過濾推薦算法推薦商品功能，新用戶隨機推薦，新用戶第二次登錄，如果之前瀏覽收藏過商品的話，進行協(xié)同過濾推薦。

有個大屏的超鏈接，點一下直接打開新窗口跳轉(zhuǎn)到Spark大屏，大屏數(shù)據(jù)包含評論情感分析的詞云(可調(diào)接口)、其余統(tǒng)計數(shù)據(jù)也要做的直觀全面，圖表要多一點！

這個項目2022年11月底完成 大概在11月25號附近。

運行截圖