一.數(shù)據(jù)分析全流程

1:數(shù)據(jù)采集

python爬蟲

MySQL數(shù)據(jù)庫

2.數(shù)據(jù)分析

NumPy矩陣計算

Pandas數(shù)據(jù)清洗

3.數(shù)據(jù)可視化

Matplotlib可視化

PyEcharts可視化

二.爬蟲是什么

概括

1.爬蟲是批量化自動化獲取既有數(shù)據(jù)

批量化

自動化

既有數(shù)據(jù)

2.通常來說

都是獲取既有數(shù)據(jù)

3.也有特殊的

批量注冊一些賬號

批量的去領(lǐng)優(yōu)惠卷

· 批量的下單買商品

三.爬蟲的分類

四大類

• 聚焦爬蟲
• 完成某一項特定數(shù)據(jù)的采集
• 百分之九十的爬蟲
• 通用爬蟲
• 什么內(nèi)容都采集，都存下來
• 搜索引擎
• 百度 谷歌
• 增量爬蟲
• 既可以是聚焦爬蟲
• 也可以是通用爬蟲
• 當(dāng)內(nèi)容發(fā)生變化的時候，他可以增量的獲取內(nèi)容
• 暗網(wǎng)爬蟲
• 深網(wǎng)爬蟲（很少見，本身是見不得光的事。既可以是聚焦爬蟲，也可以是通用爬蟲，也可以是增量爬蟲）

四.爬蟲安全嗎

1. robots.txt協(xié)議
2. 君子協(xié)議

寫爬蟲的注意事項

1. 給服務(wù)器留活路
2. 脫離敏感數(shù)據(jù)
3. 不要公開收費
4. 不要爬國家的公共資源網(wǎng)站

五.爬蟲如何搞錢

1. 入職企業(yè)
2. 搶購
3. 羊毛出在豬身上
4. 引流比價
5. 點贊 收藏 刷評論 刷粉絲

核心 （本質(zhì)上是資源的整合）

六.爬蟲的核心流程

1. 明確目標(biāo)
2. 搜尋哪些APP或網(wǎng)站中有我們要的資源
3. 分析數(shù)據(jù)所在位置，加載方式
4. 數(shù)據(jù)獲取
5. 數(shù)據(jù)提取
6. 數(shù)據(jù)存儲
7. 提升性能

七.工具

1.Anaconda

默認(rèn)一路next

2.chrome瀏覽器

不建議用工具修改路徑

3.打開Anaconda 中Anaconda prompt

之后在終端中輸入 jupyter notebook

就是C盤users/用戶下的資源

這個就是爬蟲最牛的工具 沒有之一