百度的市值有781.26億美元，換算成人民幣就是五千億

谷歌的市值有1.55萬億美元，就是10萬億人民幣

10萬億是什么概念呢，大概就等于韓國1年的GDP總額了

關(guān)于這2家公司，相信很多小伙伴了解的最多的他們的搜索引擎網(wǎng)站了

而在這2兩家廣告收入都占據(jù)了80%以上，廣告的展示位置基本上位于他們的搜索頁面

雖然這個(gè)些廣告讓用戶非常反感，但是還是要保住這廣告位，因?yàn)檫@是他們的金主爸爸。而他們的金主爸爸看上的就是他們的搜索引擎結(jié)果。

那么搜索引擎所采取的技術(shù)原理是什么呢？就是爬蟲，這樸實(shí)的技術(shù) 。

從網(wǎng)絡(luò)的誕生始，還沒有百度之類的搜索引擎，當(dāng)時(shí)寫了網(wǎng)站需要?jiǎng)e人訪問的時(shí)候。

先把地址給對(duì)方，后來就有些有搞了個(gè)網(wǎng)站，專門整理這些信息，就比如hao123網(wǎng)站。

但這樣一個(gè)個(gè)的找和錄入系統(tǒng)太麻煩了，干脆就寫了個(gè)程序去網(wǎng)絡(luò)上自動(dòng)抓取網(wǎng)址。這個(gè)程序就是網(wǎng)絡(luò)爬蟲。

我們熟悉的谷歌、百度等搜索引擎便應(yīng)運(yùn)而生了，搜索引擎便是最早廣泛應(yīng)用爬蟲技術(shù)的產(chǎn)品。

因?yàn)樗麄兙褪窍裰┲胍粯釉诰W(wǎng)絡(luò)上爬取數(shù)據(jù)，所以稱他們?yōu)镾pider,搜索引擎的蜘蛛會(huì)從一個(gè)網(wǎng)站出發(fā)，

爬取網(wǎng)上上的關(guān)鍵字與所有的網(wǎng)址,接著又出發(fā)到其他的網(wǎng)址上去爬取關(guān)鍵字與網(wǎng)址，周而復(fù)始，一線大網(wǎng)就逐漸形成了

谷歌百度的服務(wù)器中會(huì)保存網(wǎng)址與對(duì)應(yīng)的關(guān)鍵詞，當(dāng)你輸入關(guān)鍵字的時(shí)候，便會(huì)從數(shù)據(jù)中搜索與顯示對(duì)應(yīng)的網(wǎng)址。

所以這個(gè)2家公司的發(fā)家的“金飯碗”就是爬蟲技術(shù)了

還有整理的很多Python資料，可以系統(tǒng)學(xué)習(xí)：

資料領(lǐng)?。涸u(píng)論“資料”+后臺(tái)主動(dòng)打招呼即可！