開發(fā)技術(shù)

pyspark hadoop mysql 爬蟲 echarts大屏

說明

整體業(yè)用戶需要注冊的時(shí)候通過郵箱驗(yàn)證碼接收驗(yàn)證碼完成注冊，然后可以登陸業(yè)務(wù)流程，做個(gè)登錄頁，新。登錄進(jìn)去以后，有個(gè)爬取數(shù)據(jù)的列表分頁，支持多條件查詢，上面有個(gè)爬取按鈕，點(diǎn)一下就可以爬取數(shù)據(jù)更新列表。還有一個(gè)協(xié)同過濾商品推薦菜單，不同的用戶登錄能夠推薦不同的商品，這里要注意新用戶登錄也可以推薦，但是登陸完瀏覽完收藏完以后下次登錄推薦的又不一樣了(下次可調(diào)用協(xié)同過濾).有一個(gè)大屏統(tǒng)計(jì)圖菜單連接，點(diǎn)一下，直接打開新窗口調(diào)轉(zhuǎn)到單獨(dú)一個(gè)新頁面：PySpark大屏

功能

數(shù)據(jù)爬取用selenium爬完商品、評論等等數(shù)據(jù)，清洗下雜質(zhì)不完整的數(shù)據(jù)，把它們過濾掉，留下完整齊全的數(shù)據(jù)信息存到mysql。

有注冊/登錄功能，注冊需要郵箱驗(yàn)證碼。

登錄成功進(jìn)入以后有一個(gè)爬取數(shù)據(jù)的分頁列表，支持多條件查詢，上面有個(gè)爬取按鈕，點(diǎn)一下直接調(diào)爬蟲腳本完成爬取，更新列表。

有個(gè)協(xié)同過濾推薦算法推薦商品功能，新用戶隨機(jī)推薦，新用戶第二次登錄，如果之前瀏覽收藏過商品的話，進(jìn)行協(xié)同過濾推薦。

有個(gè)大屏的超鏈接，點(diǎn)一下直接打開新窗口跳轉(zhuǎn)到Spark大屏，大屏數(shù)據(jù)包含評論情感分析的詞云(可調(diào)接口)、其余統(tǒng)計(jì)數(shù)據(jù)也要做的直觀全面，圖表要多一點(diǎn)！

這個(gè)項(xiàng)目2022年11月底完成 大概在11月25號附近。

運(yùn)行截圖