默認(rèn) - 所有機(jī)器人是: | ||
檢索間隔: | ||
Sitemap: (留空為無(wú)) | ||
普通搜索機(jī)器人: | googlebot | |
Baidu | baiduspider | |
MSN Search | msnbot | |
Yahoo | yahoo-slurp | |
Ask/Teoma | teoma | |
Cuil | twiceler | |
GigaBlast | gigabot | |
Scrub The Web | scrubby | |
DMOZ Checker | robozilla | |
Nutch | nutch | |
Alexa/Wayback | ia_archiver | |
Naver | naverbot, yeti | |
特殊搜索機(jī)器人: | Google Image | googlebot-image |
Google Mobile | googlebot-mobile | |
Yahoo MM | yahoo-mmcrawler | |
MSN PicSearch | psbot | |
SingingFish | asterias | |
Yahoo Blogs | yahoo-blogs/v3.9 | |
限制目錄: | 路徑是相對(duì)的,但每個(gè)路徑之前都要包含:"/" | |
|
現(xiàn)在,你創(chuàng)建一個(gè)空白的文本文件,命名為:“robots.txt”,然后把上面的內(nèi)容,復(fù)制并粘貼到“robots.txt”中去。把“robots.txt”放在你網(wǎng)站的根目錄,并確保他能讓訪問(wèn)者(如搜索引擎)訪問(wèn)到。