計(jì)算機(jī)畢業(yè)設(shè)計(jì)Scrapy+Spark電影用戶畫像系統(tǒng) 電影推薦系統(tǒng) 電影可視化 電影大數(shù)據(jù)
本章詳細(xì)介紹了本系統(tǒng)的需求分析。本系統(tǒng)旨在實(shí)現(xiàn)一個(gè)用戶不僅能方便地查看電影信息,而且能獲取自己感興趣的推薦電影的系統(tǒng)。本系統(tǒng)的功能應(yīng)當(dāng)是較為完善的,推薦結(jié)果應(yīng)當(dāng)較為精準(zhǔn)化,推薦效率應(yīng)當(dāng)高效,并且面對(duì)不斷增長的電影數(shù)據(jù)和用戶數(shù)據(jù)應(yīng)當(dāng)有著良好拓展性。此外,本系統(tǒng)應(yīng)當(dāng)以web頁面為最終呈現(xiàn)方式,以便于用戶在PC端或移動(dòng)端等設(shè)備上隨時(shí)訪問本系統(tǒng)。
2022年12月增加Spark大屏統(tǒng)計(jì)駕駛艙、Web后臺(tái)管理系統(tǒng)
當(dāng)前爬蟲+三種機(jī)器學(xué)習(xí)推薦算法+用戶畫像可視化+虛擬機(jī)集群足夠畢設(shè)了
交互層提供了用戶與系統(tǒng)之間交互的途徑,通過簡潔直觀的web頁面將系統(tǒng)展示給用戶。業(yè)務(wù)邏輯層主要用于實(shí)現(xiàn)交互層的功能,根據(jù)業(yè)務(wù)邏輯實(shí)現(xiàn)用戶信息、電影信息的管理,同時(shí)選取合適的推薦算法來完成相關(guān)推薦。推薦算法層分為統(tǒng)計(jì)推薦、離線推薦和實(shí)時(shí)推薦。統(tǒng)計(jì)推薦主要用統(tǒng)計(jì)的方法如計(jì)算評(píng)論數(shù)或評(píng)分等來推薦;離線推薦主要反映用戶歷史的電影喜好,因?yàn)橛?jì)算量巨大需要離線定時(shí)運(yùn)行;實(shí)時(shí)推薦主要反映用戶近期的電影喜好,在離線計(jì)算好的數(shù)據(jù)基礎(chǔ)上可以做到秒級(jí)、毫米級(jí)的計(jì)算延遲。存儲(chǔ)層綜合關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫來存儲(chǔ)用戶數(shù)據(jù)、電影數(shù)據(jù)和推薦結(jié)果集。交互層、業(yè)務(wù)邏輯層、推薦算法層和存儲(chǔ)層都將會(huì)部署在服務(wù)器端,用戶在web頁面上瀏覽時(shí)與服務(wù)器端通過HTTP協(xié)議來進(jìn)行數(shù)據(jù)傳輸。
運(yùn)行截圖






























