摘要：

本文討論了信息傳遞中的搜索算法及其發(fā)展歷程。搜索算法在信息傳遞中起著關(guān)鍵作用，可以理解為在解空間中尋找確定最優(yōu)解的過(guò)程。從原始宗教和科學(xué)的求知精神到現(xiàn)代搜索引擎的出現(xiàn)，從最早的FTP服務(wù)到現(xiàn)代的搜索巨頭Google等，信息傳遞過(guò)程中不斷的技術(shù)創(chuàng)新、盈利模式探索和服務(wù)完善，逐漸形成了技術(shù)、盈利和服務(wù)的三角閉環(huán)。最近，AI的發(fā)展使得搜索引擎的體驗(yàn)有了新的里程碑，AI模型如ChatGPT直接生成內(nèi)容，提供更高效的信息傳遞方式，但仍需關(guān)注數(shù)據(jù)驅(qū)動(dòng)AI的可解釋性問(wèn)題。

關(guān)鍵詞：

信息傳遞，搜索算法，搜索引擎，盈利模式，AI模型，可解釋性

?

???? 上一篇我們討論了信息過(guò)濾的過(guò)程，研究了推薦算法的來(lái)龍去脈，其本質(zhì)是在B端對(duì)C端的不確定認(rèn)知下如何尋找信息流的傳播途徑——信息過(guò)濾。如果B端對(duì)C端有著明確的認(rèn)知，那么在面對(duì)C端的需求下是有確定結(jié)果的。因此，搜索算法應(yīng)運(yùn)而生，其本質(zhì)是尋找在B端對(duì)C端的確定認(rèn)知下信息流的傳播途徑——信息傳遞。

? ? 首先，我們需要理解三個(gè)名詞——搜索、推薦、思考。從解答問(wèn)題的方面理解：

（1）搜索是在一定解空間中尋找確定最優(yōu)解的過(guò)程；

（2）推薦是在一定解空間中尋找近似最優(yōu)解的過(guò)程；

（3）思考是在未知解空間中證明解存在性的過(guò)程。

? ? 以上三種過(guò)程無(wú)疑不是因果認(rèn)知世界的三大途徑，對(duì)于信息流的傳播途徑也是如此。我們通過(guò)對(duì)于未知信息的思考，形成自己的理解，再去驗(yàn)證我們的理論是否正確；我們面對(duì)復(fù)雜信息流，如果不了解內(nèi)部運(yùn)作模式，那么會(huì)去尋找與自己認(rèn)知、信仰匹配的信息；如果了解，那么會(huì)去尋找這種模式下的正確答案。（3）回答的是有沒(méi)有的問(wèn)題，是一種存在性證明；（1）（2）回答的是怎么辦的問(wèn)題，是一種思維性證明。OK，明白之后，讓我們帶著這種世界觀，一起去尋找搜索發(fā)展的方法論。

? ? 最開(kāi)始的搜索算法可以理解為原始宗教、原始科學(xué)。我們?nèi)祟?lèi)對(duì)于理解不了的事物本能有一種求知問(wèn)底的態(tài)度，堅(jiān)信一定是有一種因果力量促使事物發(fā)生，于是有根據(jù)的提出基本教義和基本原理，去尋找、構(gòu)建這個(gè)廣闊的未知世界，與現(xiàn)實(shí)碰撞匹配。進(jìn)入信息社會(huì)，我們依然采用同樣的邏輯，引入了圖論中樹(shù)的方法，在探索過(guò)程中，一旦發(fā)現(xiàn)原來(lái)的選擇不符合要求，就回溯至父節(jié)點(diǎn)重新尋找，這就是深度優(yōu)先搜索；在探索過(guò)程中，優(yōu)先尋找相鄰節(jié)點(diǎn)，知道全部尋找完畢，這就是廣度優(yōu)先搜索，兩種方法的實(shí)質(zhì)就是遍歷窮舉、無(wú)監(jiān)督搜索。如果我們可以加上一些規(guī)則來(lái)有監(jiān)督搜索，是不是可以提高效率，于是有了A*算法，制定一些啟發(fā)規(guī)則和一個(gè)代價(jià)函數(shù)，估算起始節(jié)點(diǎn)經(jīng)過(guò)該節(jié)點(diǎn)到達(dá)目標(biāo)節(jié)點(diǎn)的代價(jià)，節(jié)點(diǎn)擴(kuò)展時(shí)總是尋找具有最小代價(jià)的節(jié)點(diǎn)。

? ? 綜上，我們可以認(rèn)為信息傳遞的過(guò)程就是一個(gè)匹配更新的過(guò)程，信息過(guò)濾也是如此。

? ? 搜索算法真正深入千家萬(wàn)戶(hù)歸功于搜索引擎的出現(xiàn)?，F(xiàn)代第一個(gè)搜索引擎Archie(1990)，服務(wù)于FTP，通過(guò)正則表達(dá)式來(lái)匹配用戶(hù)查詢(xún)與文件名稱(chēng)來(lái)實(shí)現(xiàn)查詢(xún)。隨后，World Wide Web Wander（1993）世界上第一個(gè)網(wǎng)絡(luò)爬蟲(chóng)出現(xiàn)了，自動(dòng)代理收集URL，同年，ALIWED（1993）檢索標(biāo)題標(biāo)簽，但文章內(nèi)容無(wú)法索引。InfoSeek（1994）正式推出搜索服務(wù)，李彥宏是核心工程師之一，同年，楊致遠(yuǎn)與David Filo創(chuàng)立Yahoo?。?994），稍后，第一個(gè)可以索引全文內(nèi)容的搜索引擎Web Crawler（1994）推出，而后Lycos（1994）創(chuàng)立，根據(jù)搜索頻率排序。接著，Excite（1995）搜索引擎正式上線(xiàn)，但存在信息丟失、太多或者無(wú)關(guān)的問(wèn)題，稍后，Alta Vista（1995）誕生，并在搜索引擎做了很多開(kāi)創(chuàng)工作——第一個(gè)允許用戶(hù)使用自然語(yǔ)言搜索的搜索引擎，第一個(gè)嘗試使用自己的數(shù)據(jù)創(chuàng)建完整網(wǎng)頁(yè)索引的搜索引擎，第一個(gè)擴(kuò)展了布爾操作符在搜索中的使用，允許搜索者限制從一個(gè)域得到結(jié)果的數(shù)量，第一個(gè)允許多語(yǔ)言搜索，第一個(gè)允許人們?cè)谒阉魑谋緝?nèi)容的同時(shí)搜索圖像、視頻和音頻的網(wǎng)站。

? ? 1998年，GoTo(后改稱(chēng)Overture)正式開(kāi)始競(jìng)價(jià)排名業(yè)務(wù)，成為PPC點(diǎn)擊付費(fèi)廣告形式的鼻祖。隨后，Direct Hit（1998）創(chuàng)辦，主要采用用戶(hù)點(diǎn)擊率來(lái)列出搜索結(jié)果排名，被作弊者利用。下半年，Google（1998）公司創(chuàng)立。2001年，百度成立。2002年，Google AdWords推出PPC形式，隨后推出Adsense內(nèi)容廣告系統(tǒng)。

? ? 2009年，Google以創(chuàng)始人之一的Larry Page命名的Page Rank（谷歌PR值）正式被大眾知曉。2010年，Google在旗下Chrome瀏覽器中推出Google Instant，即用戶(hù)在輸入關(guān)鍵詞并未按下Search鍵時(shí)即可看到搜索結(jié)果。之后，各大APP軟件均有搜索模塊。

? ? 統(tǒng)覽這個(gè)搜索引擎的發(fā)展歷程，我們可以發(fā)現(xiàn)一條清晰的路線(xiàn)——從技術(shù)到盈利再到服務(wù)的三角閉環(huán)，并伴有資本兼并和重組統(tǒng)一。在這個(gè)過(guò)程中Google公司的貢獻(xiàn)和地位尤為突出，這也來(lái)源于它從意義和意圖、相關(guān)性、品質(zhì)、用戶(hù)體驗(yàn)、個(gè)性化對(duì)網(wǎng)頁(yè)進(jìn)行排名的策略。

? ? 時(shí)間來(lái)到2022年底，ChatGPT的出現(xiàn)打開(kāi)了搜索引擎的缺口，搜索之后看到依舊是各類(lèi)信息的集合，還需要大腦思考整理，而AI通過(guò)Transformer、Diffusion直接生成我們所需要的內(nèi)容，是信息傳遞過(guò)程中新的里程碑，不過(guò)基于數(shù)據(jù)驅(qū)動(dòng)的AI還需要knowledge-driven來(lái)彌補(bǔ)可解釋性的問(wèn)題。

? ? By building learning systems, we don’t have to write these rules anymore. Increasingly, we’re discovering that if we can learn things rather than writing code, we can scale these things much better.

——John Giannadrea,Google,2015

?

參考文獻(xiàn)：

[1] Jun Xu, Xiangnan He, and Hang Li. 2018. Deep Learning for Matching in Search and Recommendation. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval (SIGIR '18). Association for Computing Machinery, New York, NY, USA, 1365–1368.

[2] https://baike.baidu.com/item/搜索算法/2988274

[3]https://zhuanlan.zhihu.com/p/208846943

[4]https://baijiahao.baidu.com/s?id=1626167337781038888

[5]http://www.hepou.com/site/excite.html

[6]https://www.semrush.com/blog/google-search-algorithm/?kw=&cmp=AA_SRCH_DSA_Blog_EN&label=dsa_pagefeed&Network=g&Device=c&utm_content=665538834698&kwid=dsa-2147915049507&cmpid=18361936995&agpid=154786738681&BU=Core&extid=91684392298&adpos=&gclid=CjwKCAjwq4imBhBQEiwA9Nx1Bp2wUYi-Y3orTuwrgCaVSXZUDrIS90NJzHWhb_KLYRGTrLNoIbcgthoCDR0QAvD_BwE

[7]https://www.google.com/search/howsearchworks/how-search-works/ranking-results/

[8]https://www.wired.com/2016/02/ai-is-changing-the-technology-behind-google-searches/