散文網(wǎng) » 游戲 »網(wǎng)絡(luò)游戲 » [Warframe]Wiki爬蟲事件

[Warframe]Wiki爬蟲事件

2021-02-08 09:02 作者:lonnstyle 0人讀過 | 我要投稿

犬首六年...算了，一個(gè)比較正經(jīng)嚴(yán)肅的問題就不說文言文了

Warframe中文維基(灰機(jī))由于爬蟲攻擊，因此灰機(jī)站長?SerGawen(a.k.a.狗頭人)?對(duì)Warframe站點(diǎn)進(jìn)行了隔離，僅有狗頭人App或于編輯群內(nèi)的活躍編輯可透過特定UA(User Agent)進(jìn)行訪問。當(dāng)然，有不少用戶一直并沒有使用狗頭人App亦不打算下載狗頭人App使用，因此出現(xiàn)了一些陰謀論。

其中包括:推廣App的使用，Wiki準(zhǔn)備開始收費(fèi)

陰謀論1.推廣App的使用

推廣App對(duì)灰機(jī)有什么收益嗎？

App的開屏廣告？

根據(jù)我這幾天親身使用...

“你騙人吧，你一個(gè)香港人，哪來的國內(nèi)手機(jī)號(hào)注冊(cè)....”

還真不好意思，我現(xiàn)在在國內(nèi)，前幾天才去開了個(gè)手機(jī)號(hào)

以我自己的使用經(jīng)驗(yàn)來看，我還真沒遇過幾個(gè)廣告，這根本就是一個(gè)嵌套webview而已，不過有著比MediaWiki好多了的搜索引擎(畢竟是狗頭人自己弄的，不是MW自帶的)。讓你們下載一個(gè)僅有54.55MB大小的軟件(作為參考，Bilibili安卓客戶端大小為243MB，還有用戶資料什么的加起來可以達(dá)到1GB)，體驗(yàn)更好的搜索引擎，而且?guī)缀跏橇闶找?，有什么問題？一個(gè)屋子有前門后門，前門塌了讓你走更安全更舒服的后門出入沒什么問題吧？

陰謀論2.Wiki準(zhǔn)備開始收費(fèi)

首先，Wiki的協(xié)議是CC BY-SA 3.0，也就是說即使真的收費(fèi)了你也耐不何，僅需要作出適當(dāng)?shù)氖鹈辉斍樗岩幌逻@個(gè)協(xié)議名稱應(yīng)該不難理解。然而，若然狗頭人進(jìn)行收費(fèi)了，那第一個(gè)不滿的肯定是我們這一群無私奉獻(xiàn)的編輯者。也不用你們來吵，我們自己就反了。Wiki作為一個(gè)給大家查閱資料的公開平臺(tái)，從來沒有打算過向大家收費(fèi)，有的僅是一個(gè)幾乎從來沒有人在意過的加油贊助按鍵和極稀有的零星頁面廣告。錢真的有這么重要？加油贊助的收入歸該站點(diǎn)所有，而Warframe站點(diǎn)的加油資金是從來沒有調(diào)用過，那￥820一直都躺在那里沒有人碰過。難不成我們編輯群90人每人分那不到十塊的錢很快樂嗎？而廣告收入歸狗頭人所有，但灰機(jī)雖然不收費(fèi)，也有伺服器維護(hù)成本，這些收入基本上都是投入到灰機(jī)的開銷上，雖然不多，但不至于使wiki變得需要收費(fèi)。

面對(duì)Wiki的隔離，出現(xiàn)了一些說要制作自己的Wiki站點(diǎn)的言論。其中最著名的應(yīng)該就是Bwiki了吧。

嗯...一個(gè)首頁都沒內(nèi)容的Wiki你們是想看什么？

先不說從頭開始重新寫一次Wiki，即便是完完全全的鏡像站點(diǎn)，內(nèi)容全靠搬運(yùn)，內(nèi)容頁面少說六七千個(gè)，還有各式各樣的模塊、模板、css、js等等，你搬了還要考慮兼容適配的問題。并不是所有維基都擁有一樣的組件，就比如說MongoDB這個(gè)支持著維基內(nèi)所有模板翻譯調(diào)用詞典的組件，Fandom上就沒有。

Bwiki有灰機(jī)的技術(shù)指導(dǎo)嗎？有各種從零開始的文檔嗎？一群完全沒碰過wiki的人真的有這樣的技術(shù)和能力去重新寫一個(gè)維基嗎？即便文本內(nèi)容和代碼全部復(fù)制，你又能確保兼容問題嗎？就比如說Fandom那邊以前一直使用舊版本的MediaWiki，一直無法兼容灰機(jī)這邊的代碼，Bwiki就不會(huì)出現(xiàn)這種問題嗎？

而且建造一個(gè)Wiki有多難？

可能不是很多人知道，Warframe中文維基的建站站長并非如今的站長Div2009，而是Honestleaf；在他來灰機(jī)之前，其實(shí)有一個(gè)Fandom的中文站點(diǎn)，后來由于考慮到國內(nèi)訪問的不易，將站點(diǎn)遷移到灰機(jī)。

去年，我對(duì)維基編輯還不是很熟悉(其實(shí)到現(xiàn)在也沒特別精通)，我向他請(qǐng)求拿到了Fandom站的管理員權(quán)限，并嘗試逐漸修復(fù)和將站點(diǎn)內(nèi)容繁體化，可這時(shí)我才發(fā)現(xiàn)沒有一群大佬們的幫助，建造一個(gè)維基有多么的困難。

你需要會(huì)Wikitext(這是最基礎(chǔ)的了)、Lua(主要用於模板)、js(大部分wiki上的互動(dòng)性元素基本都可以確定是js)、css(頁面的配色、各種文本樣式什么的)等等...這還只是個(gè)基礎(chǔ)。

你要去做鏡像站點(diǎn)或者自己從頭建造的話我十分佩服你的志氣，可你確定你有足夠的技術(shù)力和人手嗎？而且我們維基編輯群里仍未收到任何正式的通知說要建立鏡像站點(diǎn)，如非完全重寫，那可以說是剽竊眾多維基編輯者的努力成果了。

那為什么要隔離？隔離之前我都覺得好好的啊？

灰機(jī)的伺服器都有緩存，所有的內(nèi)容并非即時(shí)更新，而是使用緩存，所以一般的閱讀訪問并不容易出現(xiàn)50X的報(bào)錯(cuò)。
啊？那為什么說爬蟲導(dǎo)致了wiki50X？

那是因?yàn)榫庉媯儗?duì)內(nèi)容進(jìn)行改動(dòng)的時(shí)候是沒有緩存的
為什么編輯不用緩存？

緩存就比方說剛有人讓你算了一條很復(fù)雜的微積分，然后另一個(gè)人問你同樣的題目，你自然不會(huì)重新計(jì)算一遍直接說出答案。而假如另一個(gè)人提出問題的時(shí)候改了其中一個(gè)變量，那你無論如何都要重新計(jì)算一次這條微積分才能給出答案。這也就是為什么編輯們無法使用緩存。

然而，50X的頻繁出現(xiàn)嚴(yán)重的影響了總多編輯的使用體驗(yàn)。而影響編輯體驗(yàn)的元兇就是一眾爬蟲。所以狗頭人決定隔離站點(diǎn)，使爬蟲不再有能力訪問wiki，從而達(dá)到改善編輯體驗(yàn)一舉。在此可以很負(fù)責(zé)任的說，自從站點(diǎn)隔離之后，各位編輯目前仍未遇到大規(guī)模影響編輯體驗(yàn)的50X(可能仍有極少數(shù)零星事件，但很多時(shí)候都是因?yàn)镸ediaWiki的瓶頸)。

說真的，隔離站點(diǎn)你們還有狗頭人App能看，爬蟲什么都沒有，跳的最歡的那幾個(gè)你確定沒有爬蟲的存在嗎？

狗頭人App不就是個(gè)嵌套Webview嗎？垃圾！

這是因?yàn)榫S基是一個(gè)UGC(User Generate Content用戶創(chuàng)作內(nèi)容)的網(wǎng)站，當(dāng)中有不少Lua、js等代碼難以為移動(dòng)端制作原生內(nèi)容，同時(shí)因?yàn)镸ediawiki等低兼容性，移動(dòng)端難以重新渲染頁面。雖然已經(jīng)針對(duì)大多數(shù)內(nèi)容進(jìn)行優(yōu)化，可移動(dòng)端App始終只能透過請(qǐng)求伺服器發(fā)送已經(jīng)渲染完的html代碼獲得頁面，而并非原生的wikitext。

說到爬蟲問題，狗頭人其實(shí)已經(jīng)更新了403頁面給大家提供更多詳細(xì)資訊，不過相信大多數(shù)人并沒有去看，因此也在這里做一次整理。

首先爬蟲是一個(gè)很常見的技術(shù)，搜索引擎、機(jī)器人查詢等都會(huì)用到這個(gè)技術(shù)，以讀取并分析目標(biāo)頁面的內(nèi)容?？墒聦?shí)上搜索引擎(如谷歌、雅虎、百度)等都會(huì)有一個(gè)規(guī)范的UA表明身份。但從2月3日的伺服器日志分析結(jié)果來看，前二十名異常值的UA均為各種瀏覽器，包括Mozilla、Safari、Chrome、QQ瀏覽器，均非搜索引擎所使用的UA。