解讀robots文件與優(yōu)化的關(guān)系 文章來(lái)源：周口中原傳媒有限公司     瀏覽次數(shù)：1641次     發(fā)布日期：2012.12.19     首先我們要明白什么是robots是什么？其實(shí)說(shuō)白了robot文件和瀏覽者沒有任何的關(guān)系，這個(gè)文件時(shí)放在網(wǎng)站程序的根目錄的，是針對(duì)蜘蛛而做的一個(gè)文件，在這個(gè)文件里設(shè)置的有蜘蛛可以抓取的頁(yè)面，可以訪問(wèn)的頁(yè)面，不可以訪問(wèn)的頁(yè)面，等等都是在這個(gè)文件里面設(shè)置的，比如說(shuō)，Disallow: /目錄名1/ 這就是不允許爬行蜘蛛不能訪問(wèn)目錄名1文件夾面的所有文件，在這文件夾里面所有的文件都不會(huì)被百度蜘蛛抓取，同樣的我們也可以設(shè)置多個(gè)這樣的文件，比如說(shuō)：Disallow: /目錄名1/ ，Disallow: /目錄名1/ ，Disallow: /目錄名2/ ，Disallow: /目錄名3/ 這里的設(shè)置就是說(shuō)不允許蜘蛛抓取目錄名1、目錄名2、目錄名3、等等，我們這里設(shè)置了不能抓取一個(gè)文件夾的內(nèi)容，那么我們?cè)趺丛O(shè)置不讓他抓取一個(gè)網(wǎng)站的內(nèi)容呢？那么我們可以設(shè)置百度蜘蛛不能訪問(wèn)，比如說(shuō)：User-agent: Baiduspider，這里的設(shè)置就是說(shuō)不允許百度蜘蛛抓取網(wǎng)站的所有內(nèi)容，除了這樣的設(shè)置以外我們換可以設(shè)置網(wǎng)站只能訪問(wèn)那個(gè)根目錄,比如說(shuō)：Allow：/目錄名/運(yùn)行訪問(wèn)“目錄名”，以上就是robot與優(yōu)化的關(guān)系 下一篇: 關(guān)于召開2013年周口中原傳媒有限公司乒乓球比賽的通知上一篇: 公司業(yè)務(wù)新拓展，服務(wù)拓展至省外