過去9年內(nèi),至少有66.5%的網(wǎng)站鏈接已失效……
當(dāng)互聯(lián)網(wǎng)上的頁面被刪除或重定向時(shí),鏈接失效(404死鏈接)就會發(fā)生,導(dǎo)致這些頁面上的鏈接轉(zhuǎn)到損壞的頁面或內(nèi)容已被更改的頁面。自2013年1月以來,指向我們抽樣的2,062,173個(gè)網(wǎng)站的鏈接中有66.5%已經(jīng)失效。我們發(fā)現(xiàn)另外6.45%存在臨時(shí)錯(cuò)誤。我們不知道他們是否還在那里。
當(dāng)涉及到SEO時(shí),這更加復(fù)雜。另有1.55%的人存在其他問題,導(dǎo)致鏈接無法被計(jì)入排名目的。這意味著我們研究中共有74.5%的鏈接被認(rèn)為是丟失的,至少有66.5%的鏈接失效了。
通常,不再有效的鏈接很重要。甚至,查看美國最高法院案件中引用的網(wǎng)站示例,有人購買了該域名并用它來發(fā)表聲明。
根據(jù)Appify移動電商營銷策略研究報(bào)告,期刊中70%的鏈接和美國最高法院判決中50%的URL不包含最初引用的材料。2012年的另一項(xiàng)研究發(fā)現(xiàn),30%的社交媒體鏈接在兩年內(nèi)“死亡”。
以前的大多數(shù)研究都相當(dāng)小,并且包含網(wǎng)絡(luò)的較舊部分。我認(rèn)為更多的舊網(wǎng)絡(luò)已經(jīng)消失了,如果不是大部分的話。例如,大多數(shù)網(wǎng)站在多年前就停止在網(wǎng)址上使用.html等擴(kuò)展程序,轉(zhuǎn)而使用干凈的網(wǎng)址。大多數(shù)網(wǎng)站也已經(jīng)從HTTP轉(zhuǎn)移到HTTPS。
本文節(jié)選自《SKUKING跨境電商獨(dú)立站中國品牌出海藍(lán)皮書》分享,根據(jù)SKUKING跨境電商研究中心編輯整理。粉絲朋友可以在「跨境電商獨(dú)立站」查看往期內(nèi)容中SKUKING的更多分享,或者聯(lián)系(SKUKINGCOM)獲取完整行業(yè)洞察報(bào)告等資料。
考慮到上述情況,我們決定進(jìn)行有史以來最大的鏈接失效的研究。它是唯一涵蓋最新版本的網(wǎng)絡(luò)之一。讓我們深入研究數(shù)據(jù)。
關(guān)于數(shù)據(jù)
自2010年以來,Ahrefs一直在抓取網(wǎng)絡(luò)。但出于本研究的目的,我們只查看2013年1月的數(shù)據(jù)。
你可以使用網(wǎng)站分析中的反向鏈接報(bào)告來檢查你自己網(wǎng)站的數(shù)據(jù)。對于Ahrefs,1.743億個(gè)鏈接中有2690萬個(gè)丟失了。只需比較應(yīng)用了“丟失”過濾器的數(shù)字與應(yīng)用了“全部”過濾器的數(shù)字。
有少數(shù)情況我們標(biāo)記為丟失,我們不算作鏈接失效。我將在下面介紹這一點(diǎn)。正如我在介紹中提到的,在過去九年中,至少有66.5%的抽樣網(wǎng)站鏈接已經(jīng)失效。
網(wǎng)絡(luò)是復(fù)雜而混亂的,有些事情的變化比其他事情快。我想看看有多少網(wǎng)站有鏈接失效,以及他們的鏈接中有多少百分比的鏈接會失效。這是數(shù)據(jù)集中按域劃分的鏈接失效百分比的分布。
有很多小網(wǎng)站沒有太多的鏈接失效。如果我們?nèi)サ糇钚〉木W(wǎng)站,只看那些擁有超過10個(gè)實(shí)時(shí)鏈接的網(wǎng)站,你會發(fā)現(xiàn)較大的網(wǎng)站似乎有相當(dāng)多的鏈接失效。
正如我在介紹中提到的,在SEO方面,我們認(rèn)為丟失的鏈接數(shù)量甚至更高——百分比方面,它是74.5%。我還想看看這些在數(shù)據(jù)集中的分布。
有很多小網(wǎng)站沒有很多丟失的鏈接。如果我們?nèi)サ糇钚〉木W(wǎng)站,只看那些擁有超過10個(gè)實(shí)時(shí)鏈接的網(wǎng)站,你會發(fā)現(xiàn)較大的網(wǎng)站似乎丟失了很多鏈接。
鏈接可能由于多種原因而丟失。我們在SKUKING以不同的方式對丟失的鏈接進(jìn)行分類。以下是鏈接丟失的最常見原因:
下降(47.7%)
鏈接已刪除(34.2%)
抓取錯(cuò)誤(6.45%)
301/302(5.99%)
未找到(4.11%)
非規(guī)范(0.82%)
無指數(shù)(0.73%)
中斷的重定向(0%)
讓我們看看其中的每一個(gè)以及它們發(fā)生的原因。
47.7%的鏈接來自丟棄的頁面
由于各種原因,這些頁面已從我們的索引中刪除。
網(wǎng)頁可能會因?yàn)闊o法抓取或編入索引而被刪除。在某些情況下,域可能不再存在。
34.2%的鏈接被刪除
在這種情況下,頁面仍然存在;他們只是不再鏈接到你。
可能是有人在內(nèi)容刷新期間刪除了鏈接,用其他鏈接替換了你的鏈接,或者由于公司策略而刪除了鏈接。另一種可能性是競爭對手決定不再與你鏈接。
6.45%的丟失鏈接來自抓取錯(cuò)誤
當(dāng)我們在嘗試抓取頁面時(shí)遇到錯(cuò)誤時(shí),它將被放入此存儲桶中。
如果該網(wǎng)頁在再次抓取時(shí)可以訪問該網(wǎng)頁,并且鏈接仍然存在,則該網(wǎng)頁將計(jì)為有效網(wǎng)頁。如果頁面繼續(xù)“出錯(cuò)”,我們可能會將其從索引中刪除。我們選擇不將抓取錯(cuò)誤計(jì)入鏈接失效的總數(shù)。這些鏈接的一部分可能不再存在,但其他鏈接仍然存在。
5.99%的鏈接由于重定向頁面而丟失
包含鏈接的頁面已重定向到其他位置。
頁面會出于各種原因更改位置。通常,這是某種網(wǎng)站遷移的結(jié)果。
4.11%的鏈接是未找到的頁面
在這種情況下,鏈接頁面已被刪除。缺少內(nèi)容(包括鏈接)。
有時(shí),這些頁面可能會再次上線或被重定向;在這種情況下,它們將被添加回或放置在重定向存儲桶中。
0.82%的鏈接丟失,
因?yàn)樗鼈兯诘捻撁娌辉偈且?guī)范的
網(wǎng)頁指定的規(guī)范已更改。
鏈接頁面具有指向其他位置的“rel=canonical”標(biāo)記。它可能是從HTTP到HTTP的更改,或者涉及尾部斜杠或參數(shù)的某種標(biāo)準(zhǔn)化。這通常沒有什么可擔(dān)心的。該頁面只是在更改其希望的索引方式。這些鏈接剛剛轉(zhuǎn)移了位置,從一個(gè)頁面轉(zhuǎn)到另一個(gè)頁面。
0.73%的鏈接丟失,
因?yàn)樗麄兊捻撁姹粯?biāo)記為“noindex”
鏈接頁面標(biāo)記為“noindex”,因此我們不計(jì)算其中的鏈接。
我們沒有在鏈接失效的數(shù)字中計(jì)算標(biāo)記為noindex的頁面。該鏈接在技術(shù)上是存在的,但它所在的頁面不會在搜索引擎中找到,也不會傳遞任何值。
由于重定向中斷,少量鏈接丟失
在這種情況下,我們之前在一個(gè)鏈中看到過多個(gè)重定向。現(xiàn)在其中一個(gè)重定向已損壞。因此,鏈路與目標(biāo)斷開連接。
如果出現(xiàn)以下情況,就會發(fā)生這種情況:
重定向鏈已斷開——如果重定向鏈中的任何頁面無法響應(yīng),則會將其報(bào)告為鏈接丟失。
重定向不再存在(或已更改)——假設(shè)你有一個(gè)來自站點(diǎn)A→站點(diǎn)B的鏈接,但該鏈接首先通過一個(gè)或多個(gè)其他URL(例如,站點(diǎn)A→站點(diǎn)C→站點(diǎn)B)重定向。
如果鏈接站點(diǎn)將此鏈接換出,以便直接鏈接(而不是通過重定向鏈),則會將其報(bào)告為丟失的鏈接。如果重定向的最終URL更改為重定向到其他地方,則同樣適用。
鏈接失效怎么辦?
隨著時(shí)間的推移,你獲得的許多鏈接可能會丟失。你可以找回其中一些的一種方法是使用鏈接回收。
在許多情況下,你的舊網(wǎng)址包含來自其他網(wǎng)站的鏈接。如果它們未重定向到當(dāng)前頁面,則這些鏈接將丟失,不再計(jì)入你的頁面?,F(xiàn)在進(jìn)行這些重定向還為時(shí)不晚,你可以快速收回任何丟失的價(jià)值。將此視為你將做的最快的鏈接構(gòu)建。
以下是找到這些機(jī)會的方法:
將你的域名粘貼到網(wǎng)站分析中
轉(zhuǎn)到“最佳鏈接”報(bào)告
添加“找不到 404”HTTP響應(yīng)篩選器
我通常按“引用域”對此進(jìn)行排序。
你甚至可以使用鏈接失效來發(fā)揮自己的優(yōu)勢。斷開的鏈接建設(shè)是一種策略,涉及在你的利基市場中查找不再有效的資源,然后聯(lián)系網(wǎng)站所有者并讓他們知道你擁有可以替換斷開鏈接的資源。
想知道如何為你的網(wǎng)站執(zhí)行此操作嗎?SKUKING跨境電商外貿(mào)建站與海外市場營銷主任Kevin為你提供了面向流程的斷鏈構(gòu)建指南。幫助解決鏈接失效的另一種方法是修復(fù)你自己網(wǎng)站上的斷開鏈接。這些在站點(diǎn)審核鏈接報(bào)告中很容易識別。只需刪除鏈接或更新對現(xiàn)有相關(guān)頁面的引用即可。
你可能還想修復(fù)來自你網(wǎng)站的指向其他網(wǎng)站的斷開鏈接。我很難為SEO爭論這一點(diǎn),并且通常會將其視為優(yōu)先級非常低的網(wǎng)站健康和維護(hù)任務(wù)。但是,你可以爭辯說單擊這些鏈接對用戶體驗(yàn)不利。因此,你可以優(yōu)先處理更常被單擊的鏈接。
指向外部頁面的斷開鏈接列表也可以在“鏈接”報(bào)告中找到。如果你像我一樣看到零損壞的外部鏈接,可能是因?yàn)槟銢]有在網(wǎng)站診斷抓取設(shè)置中啟用“檢查外部鏈接的HTTP狀態(tài)”。
結(jié)語
一些公司和技術(shù)試圖幫助解決鏈接失效問題。其中許多解決方案并不能真正解決鏈接斷開或網(wǎng)絡(luò)變化的問題。相反,他們依賴于存檔網(wǎng)絡(luò)上的內(nèi)容,以便仍然可以看到它。例如,Internet Archive有一個(gè)Chrome擴(kuò)展程序,如果頁面存檔已損壞,該擴(kuò)展程序?qū)@示頁面存檔。
同樣,CDN Cloudflare有一個(gè)“始終在線”選項(xiàng),該選項(xiàng)將首先查找其自己的離線頁面的存檔副本。但如果不存在,它將從Internet Archive中提取最新版本。如果你使用Brave瀏覽器,損壞的頁面將顯示一條消息,讓你在archive.org時(shí)檢查存檔版本。