開(kāi)發(fā)技術(shù)

pyspark hadoop mysql 爬蟲(chóng) echarts大屏

說(shuō)明

整體業(yè)用戶(hù)需要注冊(cè)的時(shí)候通過(guò)郵箱驗(yàn)證碼接收驗(yàn)證碼完成注冊(cè)，然后可以登陸業(yè)務(wù)流程，做個(gè)登錄頁(yè)，新。登錄進(jìn)去以后，有個(gè)爬取數(shù)據(jù)的列表分頁(yè)，支持多條件查詢(xún)，上面有個(gè)爬取按鈕，點(diǎn)一下就可以爬取數(shù)據(jù)更新列表。還有一個(gè)協(xié)同過(guò)濾商品推薦菜單，不同的用戶(hù)登錄能夠推薦不同的商品，這里要注意新用戶(hù)登錄也可以推薦，但是登陸完瀏覽完收藏完以后下次登錄推薦的又不一樣了(下次可調(diào)用協(xié)同過(guò)濾).有一個(gè)大屏統(tǒng)計(jì)圖菜單連接，點(diǎn)一下，直接打開(kāi)新窗口調(diào)轉(zhuǎn)到單獨(dú)一個(gè)新頁(yè)面：PySpark大屏

功能

數(shù)據(jù)爬取用selenium爬完商品、評(píng)論等等數(shù)據(jù)，清洗下雜質(zhì)不完整的數(shù)據(jù)，把它們過(guò)濾掉，留下完整齊全的數(shù)據(jù)信息存到mysql。

有注冊(cè)/登錄功能，注冊(cè)需要郵箱驗(yàn)證碼。

登錄成功進(jìn)入以后有一個(gè)爬取數(shù)據(jù)的分頁(yè)列表，支持多條件查詢(xún)，上面有個(gè)爬取按鈕，點(diǎn)一下直接調(diào)爬蟲(chóng)腳本完成爬取，更新列表。

有個(gè)協(xié)同過(guò)濾推薦算法推薦商品功能，新用戶(hù)隨機(jī)推薦，新用戶(hù)第二次登錄，如果之前瀏覽收藏過(guò)商品的話，進(jìn)行協(xié)同過(guò)濾推薦。

有個(gè)大屏的超鏈接，點(diǎn)一下直接打開(kāi)新窗口跳轉(zhuǎn)到Spark大屏，大屏數(shù)據(jù)包含評(píng)論情感分析的詞云(可調(diào)接口)、其余統(tǒng)計(jì)數(shù)據(jù)也要做的直觀全面，圖表要多一點(diǎn)！

這個(gè)項(xiàng)目2022年11月底完成 大概在11月25號(hào)附近。

運(yùn)行截圖