robtos.txt這個(gè)文件是什么用的？在seo網(wǎng)站優(yōu)化的過程中，我們經(jīng)常會(huì)碰到robots文件，這個(gè)是什么意思？今天，我們來簡單講解下。

什么是robots文件

robots文件是放在網(wǎng)站根目錄下的一個(gè)文件，是搜索引擎與網(wǎng)站溝通的重要渠道，網(wǎng)站與搜索引擎爬蟲之間的協(xié)議，告訴網(wǎng)站哪些可以抓取，哪些不能抓取。

網(wǎng)站上總有些文件，是不讓抓取的，或者說抓取沒有意義，為了節(jié)省資源，用robots文件來告訴搜索引擎，哪些不要抓取，比如搜索頁面、篩選頁面、后臺登錄地址等。

如何制作robots文件呢？只需要?jiǎng)?chuàng)建一個(gè)robots.txt文件就可以了，讓好在txt文件里加入代碼就可以了，在創(chuàng)建txt文件里面，一定要加入網(wǎng)站地圖。

robots文件需要注意的事項(xiàng)

在制作robots文件過程中，一定要注意一些事項(xiàng)，避免因?yàn)槭д`造成網(wǎng)站收錄和排名沒有的情況，具體需要注意以下這些事情。

1、不同的搜索引擎，代碼是不一樣的，如果是用星號表示，則是適用于所有的搜索引擎。

2、Allow意思是允許抓取，Disallow的意思是不允許抓取。

3、robots.txt文件中至少需要屏蔽一個(gè)，比如你可以屏蔽：搜索結(jié)果頁面或者404頁面。

4、需要把sitemap放到Robots文件中，這樣方便蜘蛛抓取。

5、需要持續(xù)更新robots文件，而不是一次性決定所有。

6、一般情況下，這些頁面需要使用Disallow現(xiàn)在抓?。壕W(wǎng)站后臺地址、圖片地址、下載文件地址、錯(cuò)誤鏈接等等。

關(guān)于robors文件，就簡單講這些，robots文件很容易和nofollow屬性搞混淆，關(guān)于什么是nofollow屬性，以及有什么作用，之前已經(jīng)講過了，如果不明白的還可以去看看。