僅當(dāng)您的網(wǎng)站里面含有不期望被搜索引擎網(wǎng)站收錄的內(nèi)部實(shí)質(zhì)意義時(shí)，才需求運(yùn)用robots.txt文件。假如您期望搜索引擎網(wǎng)站收錄網(wǎng)站上全部內(nèi)部實(shí)質(zhì)意義，請勿樹立robots.txt文件。
查緝該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中開創(chuàng)一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中沒想到被搜索引擎網(wǎng)站收錄的局部還是指定搜索引擎網(wǎng)站只收錄特別指定的局部。
例1.嚴(yán)禁全部搜索引擎網(wǎng)站過訪網(wǎng)站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準(zhǔn)許全部的robot過訪 (還是也可以建一個(gè)具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴(yán)禁Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Disallow:/
例4.僅準(zhǔn)許Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準(zhǔn)許Baiduspider以及Googlebot過訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴(yán)禁spider過訪特別指定目次 在這個(gè)例子中，該網(wǎng)站有三個(gè)目次對搜索引擎網(wǎng)站的過訪做了限止，即robot不會(huì)過訪這三個(gè)目次。需求注意的是對每一個(gè)目次務(wù)必分開聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準(zhǔn)許過訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運(yùn)用"*"限止過訪url 嚴(yán)禁過訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細(xì)目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運(yùn)用"$"限止過訪url 僅準(zhǔn)許過訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴(yán)禁過訪網(wǎng)站中全部的動(dòng)態(tài)頁面User-agent:* Disallow:/*?*
例11.嚴(yán)禁Baiduspider抓取網(wǎng)站上全部圖片 僅準(zhǔn)許抓取網(wǎng)頁，嚴(yán)禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準(zhǔn)許Baiduspider抓取網(wǎng)頁和.gif款式圖片 準(zhǔn)許抓取網(wǎng)頁和gif款式圖片，不準(zhǔn)許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴(yán)禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見用處
查緝該網(wǎng)站的根域下是否有一個(gè)叫做 robots.txt的純文本文件，這個(gè)文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中開創(chuàng)一個(gè)robots.txt，在文件中聲明 該網(wǎng)站中沒想到被搜索引擎網(wǎng)站收錄的局部還是指定搜索引擎網(wǎng)站只收錄特別指定的局部。
例1.嚴(yán)禁全部搜索引擎網(wǎng)站過訪網(wǎng)站的不論什么局部 下載該robots.txt文件User-agent:* Disallow:/
例2.準(zhǔn)許全部的robot過訪 (還是也可以建一個(gè)具文件"/robots.txt")User-agent:* Allow:/
例3.僅嚴(yán)禁Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Disallow:/
例4.僅準(zhǔn)許Baiduspider過訪您的網(wǎng)站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/
例5.僅準(zhǔn)許Baiduspider以及Googlebot過訪User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.嚴(yán)禁spider過訪特別指定目次 在這個(gè)例子中，該網(wǎng)站有三個(gè)目次對搜索引擎網(wǎng)站的過訪做了限止，即robot不會(huì)過訪這三個(gè)目次。需求注意的是對每一個(gè)目次務(wù)必分開聲明，而不可以寫成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例7.準(zhǔn)許過訪特別指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/
例8.運(yùn)用"*"限止過訪url 嚴(yán)禁過訪/cgi-bin/目次下的全部以".htm"為后綴的URL(里面含有細(xì)目錄)。User-agent:* Disallow:/cgi-bin/*.htm
例9.運(yùn)用"$"限止過訪url 僅準(zhǔn)許過訪以".htm"為后綴的URL。User-agent:* Allow:/*.htm$ Disallow:/
例10.嚴(yán)禁過訪網(wǎng)站中全部的動(dòng)態(tài)頁面User-agent:* Disallow:/*?*
例11.嚴(yán)禁Baiduspider抓取網(wǎng)站上全部圖片 僅準(zhǔn)許抓取網(wǎng)頁，嚴(yán)禁抓取不論什么圖片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$
例12.僅準(zhǔn)許Baiduspider抓取網(wǎng)頁和.gif款式圖片 準(zhǔn)許抓取網(wǎng)頁和gif款式圖片，不準(zhǔn)許抓取其它款式圖片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$
例13.僅嚴(yán)禁Baiduspider抓取.jpg款式圖片User-agent:Baiduspider Disallow:/*.jpg$
robots常見用處
