在我看來robots協(xié)議就是站長行使支配權的執(zhí)行文件，這是我們作為站長最基本的權利。它是搜索引擎蜘蛛爬取之前要面對的第一道關口，所以robots協(xié)議的重要性也是可想而知了。都說細節(jié)決定成敗，那么越重要的東西細節(jié)就[]

在我看來robots協(xié)議就是站長行使支配權的執(zhí)行文件，這是我們作為站長最基本的權利。它是搜索引擎蜘蛛爬取之前要面對的第一道關口，所以robots協(xié)議的重要性也是可想而知了。都說細節(jié)決定成敗，那么越重要的東西細節(jié)就顯得尤為重要，往往自己一不小心忽略的一個細節(jié)到最后就可能會成為你的致命一擊。本人之所以會這么說，是因為我差點就成了這個問題的反面教材了，還好發(fā)現(xiàn)的及時也算是亡羊補牢吧！之所以想立即分享給大家，就是希望大家以后自己做站的時候要避免犯類似的錯誤。

事情其實就發(fā)生在今天，經過是這樣的 因為博客也剛做好不久，前幾天上線之后發(fā)現(xiàn)還有很多小問題需要處理，為了避免還在調整的過程中就被搜索引擎抓取到，所以我在robots協(xié)議里面寫了禁止所有搜索引擎爬取任何部分的指令，的調整一直持續(xù)了幾天之所以會弄這么長時間是因為我是一個不能容忍瑕疵的人，不知道這算不算強迫癥的一種，直到昨天也就是2月3 才全面竣工，但是這期間我每天都在堅持添加。昨天檢查完畢，全部問題都解決好以后，我就把robots協(xié)議重新更換了過來，并且發(fā)了一篇帖子引了蜘蛛希望爬蟲能快點過來爬我的。就這樣，到了今天早上發(fā)現(xiàn)還是沒有被收錄，于是我就去百度站長工具平臺看一下我的到底是個什么情況，進去一看嚇我一跳，因為我看到了下面一則如圖所示信息

我的竟然對百度進行了全面封禁，檢測時間是在今天2月4 早上凌晨5點整的時候，這讓我像丈二的和尚摸不著頭腦了，太不科學了，因為我在昨天2月3 上午已經把的robots協(xié)議更改過來了，真的是太奇怪了。就在我百思不得其解的時候總算是通過站長平臺工具的“robots檢測”找到了答案，看下圖

原來百度蜘蛛早就在我蜘蛛上線后的第三天抓取了我的robots協(xié)議，所以當前生效的協(xié)議也就是當時它抓取到的我把蜘蛛全部屏蔽時的那個，而本站最新的robot協(xié)議還沒有生效。這下我總算是明白了過來了，既然弄清楚了原因那事情就好辦了。于是我立即把協(xié)議提交更新了一下，如下圖

更新以后一分鐘內協(xié)議就更新過來了，如下圖

可以看到，當前本站最新的robots已經開始生效了，就這樣到了下午，當我再次進入百度站長平臺就收到了新消息，如下圖所示

至此已經解除了robots協(xié)議對百度的全面封禁，檢測時間顯示的是今天下午兩點整。到了晚上也差不多就是在三個多小時以前，當我再次檢查收錄情況的時候，已經被收錄了。如下圖

終于被收錄了，但讓我最開心的還是我通過自己的努力找到問題并解決了問題，這才是我今天最大的收獲。當然了如果這個問題我發(fā)現(xiàn)不了，可能再過十天半個月也會毫無起色，所以我要提醒大家的就是關于robots協(xié)議在封禁蜘蛛之后到后期在解封的時候一定要記得及時更新robots協(xié)議，這是一個不容被忽視的小細節(jié)。也許按照自己的一貫常識覺得只要通過輸入“http:\\域名\robots.txt看一下的協(xié)議改過來了沒有就可以了，但是通過實踐證明這種方式也不是完全可靠的，所以一定要記住我這次的經驗教訓，robots一旦進行調整就一定要記得及時提交更新，不然被蜘蛛抓取了不該抓的或者一直把蜘蛛拒之門外耽誤了自己的時間那就真的是后悔莫及了。

溫馨小提示 剛才看了一下時間，已經轉鐘到了第二天了，寫這篇的時候是在2月4 ，但是現(xiàn)在發(fā)布的時間已經轉點到2月5 了，所以提到的“今天”也就是2月4 ，希望大家不要看糊涂了。

感謝觀看robots協(xié)議最容易忽略卻很致命的小細節(jié)，以上精彩文章由耐美整形網http://www.zx8848.com提供分享！