SparkSQL案例:電影評分數據分析
MovieLens數據集
MovieLens數據集包含多個用戶對多部電影的評級數據,也包括電影元數據信息和用戶屬性信息。
·?下載地址 http://files.grouplens.org/datasets/movielens/
·?介紹
下面以ml-100k數據集為例進行介紹:
下載u.data文件
u.data - 由943個用戶對1682個電影的10000條評分組成。每個用戶至少評分20部電影。用戶和電影從1號開始連續(xù)編號,數據是隨機排序的。

需求
1.查詢用戶平均分
2.查詢電影平均分
3.查詢大于平均分的電影的數量
4.查詢高分電影中(>3)打分次數最多的用戶,并求出此人打的平均分
5.查詢每個用戶的平均打分,最低打分,最高打分
6.查詢唄評分查過100次的電影的平均分排名TOP10
完整代碼
