robots協(xié)議的常見問題

一、robots協(xié)議是什么？

搜索蜘蛛在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定搜索蜘蛛（爬蟲）在您網(wǎng)站上的抓取范圍。

其實就是一個文件，用戶寫好了代碼，放到虛擬根目錄上，用于告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

二、支持哪些robots Meta標(biāo)簽？

目前的網(wǎng)站插件代碼支持nofollow、noarchive兩種robotsMeta標(biāo)簽，不過，在百度官方的《百度搜索引擎優(yōu)化指南》中，百度明確表示只支持網(wǎng)站的nofollow、noarchive兩種meta標(biāo)簽，兩種標(biāo)簽的寫法參考如下：

① 防止所有搜索引擎顯示你的網(wǎng)站快照，可將此元標(biāo)記置入部分：   

        <meta name="robots" content="noarchive">     

② 不想搜索引擎追蹤此網(wǎng)頁上的鏈接，而且不傳遞鏈接權(quán)重的，可以將此元標(biāo)記置入：   

        <meta name="robots" content="nofollow">

三、網(wǎng)站管理員如何上傳robots協(xié)議

robots文件需要用戶自己寫代碼，保存為txt文件，然后上傳到網(wǎng)站的虛擬根目錄。

四、其他常見問題

Q：需要針對“www.aaa.com/bbb.html”這個頁面在根目錄上傳robots文件，如何操作？

A：robots文件需要用戶自己寫，目前沒有針對某個頁面的虛擬根目錄，用戶寫好了上傳到網(wǎng)站的虛擬根目錄即可。

Q：網(wǎng)站后臺沒有上傳robots文件但是輸入“www.aaa.com/robots.txt”依然可以訪問，是默認(rèn)如此嗎？

A：這個是nginx配置的問題，訪問以txt為后綴的文件會被加上text/plain的contentType。如果改為text/htmI會有安全性問題，暫不處理。

Q：上傳了robots沒有在sitemap體現(xiàn)，正常嗎？

A：正常。網(wǎng)站的sitemap 生成是根據(jù)站點頁面鏈接的，后臺上傳了robots 是不會體現(xiàn)到sitemap的。