建站知識(shí)

網(wǎng)站資訊動(dòng)態(tài),網(wǎng)站建設(shè)知識(shí),網(wǎng)站優(yōu)化SEO,營(yíng)銷型網(wǎng)站建設(shè),手機(jī)網(wǎng)站建設(shè),搜索引擎營(yíng)銷,常見(jiàn)問(wèn)題解答,外貿(mào)網(wǎng)站建設(shè)等相關(guān)知識(shí)與動(dòng)態(tài)。

您當(dāng)前所在位置:首頁(yè) > 建站知識(shí) > 網(wǎng)站建設(shè)知識(shí) > 正文

[轉(zhuǎn)載]ROBOTS.TXT指南

2011-12-23
當(dāng)搜索引擎訪問(wèn)一個(gè)網(wǎng)站時(shí),它首先會(huì)檢查該網(wǎng)站的根域下是否有一個(gè)叫做robots.txt的純文本文件。Robots.txt文件用于限定搜索引擎對(duì)其網(wǎng)站的訪問(wèn)范圍,即告訴搜索引擎網(wǎng)站中哪些文件是允許它進(jìn)行檢索(下載)的。這就是大家在網(wǎng)絡(luò)上??吹降摹熬芙^Robots訪問(wèn)標(biāo)準(zhǔn)”(Robots Exclusion Standard)。下面我們簡(jiǎn)稱RES。 Robots.txt文件的格式:Robots.txt文件的格式比較特殊,它由記錄組成。這些記錄通過(guò)空行分開(kāi)。其中每條記錄均由兩個(gè)域組成:    1) 一個(gè)User-Agent(用戶代理)字符串行;    2) 若干Disallow字符串行。    記錄格式為: ":"    下面我們分別對(duì)這兩個(gè)域做進(jìn)一步說(shuō)明。 User-agent(用戶代理):    User-agent行(用戶代理行) 用于指定搜索引擎robot的名字,以Google的檢索程序Googlebot為例,有:User-agent: Googlebot    一個(gè)robots.txt中至少要有一條User-agent記錄。如果有多條User-agent記錄,則說(shuō)明有多個(gè)robot會(huì)受到RES標(biāo)準(zhǔn)的限制。當(dāng)然了,如果要指定所有的robot,只需用一個(gè)通配符"*"就搞定了,即:User-agent: * Disallow(拒絕訪問(wèn)聲明):    在Robots.txt文件中,每條記錄的第二個(gè)域是Disallow:指令行。這些Disallow行聲明了該網(wǎng)站中不希望被訪問(wèn)的文件和(或)目錄。例如"Disallow: email.htm"對(duì)文件的訪問(wèn)進(jìn)行了聲明,禁止Spiders下載網(wǎng)站上的email.htm文件。而"Disallow: /cgi-bin/"則對(duì)cgi-bin目錄的訪問(wèn)進(jìn)行了聲明,拒絕Spiders進(jìn)入該目錄及其子目錄。Disallow聲明行還具有通配符功能。例如上例中"Disallow: /cgi-bin/"聲明了拒絕搜索引擎對(duì)cgi-bin目錄及其子目錄的訪問(wèn),而"Disallow:/bob"則拒絕搜索引擎對(duì)/bob.html和/bob/indes.html的訪問(wèn)(即無(wú)論是名為bob的文件還是名為bob的目錄下的文件都不允許搜索引擎訪問(wèn))。Disallow記錄如果留空,則說(shuō)明該網(wǎng)站的所有部分都向搜索引擎開(kāi)放。 空格 & 注釋    在robots.txt文件中,凡以"#"開(kāi)頭的行,均被視為注解內(nèi)容,這和UNIX中的慣例是一樣的。但大家需要注意兩個(gè)問(wèn)題:    1) RES標(biāo)準(zhǔn)允許將注解內(nèi)容放在指示行的末尾,但這種格式并不是所有的Spiders都能夠支持。譬如,并不是所有的Spiders都能夠正確理解"Disallow: bob #comment"這樣一條指令。有的Spiders就會(huì)誤解為Disallow的是"bob#comment"。最好的辦法是使注解自成一行。    2) RES標(biāo)準(zhǔn)允許在一個(gè)指令行的開(kāi)頭存在空格,象"Disallow: bob #comment",但我們也并不建議大家這么做。 Robots.txt文件的創(chuàng)建:    需要注意的是,應(yīng)當(dāng)在UNIX命令行終端模式下創(chuàng)建Robots.txt純文本文件。好的文本編輯器一般都能夠提供UNIX模式功能,或者你的FTP客戶端軟件也“應(yīng)該”能夠替你轉(zhuǎn)換過(guò)來(lái)。如果你試圖用一個(gè)沒(méi)有提供文本編輯模式的HTML編輯器來(lái)生成你的robots.txt純文本文件,那你可就是瞎子打蚊子——白費(fèi)力氣了。 對(duì)RES標(biāo)準(zhǔn)的擴(kuò)展:    盡管已經(jīng)提出了一些擴(kuò)展標(biāo)準(zhǔn),如Allow行或Robot版本控制(例如應(yīng)該忽略大小寫(xiě)和版本號(hào)),但尚未得到RES工作組的正式批準(zhǔn)認(rèn)可。 附錄I. Robots.txt用法舉例:    使用通配符"*",可設(shè)置對(duì)所有robot的訪問(wèn)權(quán)限。    User-agent: *    Disallow:    表明:允許所有搜索引擎訪問(wèn)網(wǎng)站下的所有內(nèi)容。    User-agent: *    Disallow: /    表明:禁止所有搜索引擎對(duì)網(wǎng)站下所有網(wǎng)頁(yè)的訪問(wèn)。    User-agent: *    Disallow: /cgi-bin/Disallow: /images/    表明:禁止所有搜索引擎進(jìn)入網(wǎng)站的cgi-bin和images目錄及其下所有子目錄。需要注意的是對(duì)每一個(gè)目錄必須分開(kāi)聲明。    User-agent: Roverdog    Disallow: /    表明:禁止Roverdog訪問(wèn)網(wǎng)站上的任何文件。    User-agent: Googlebot Disallow: cheese.htm    表明:禁止Google的Googlebot訪問(wèn)其網(wǎng)站下的cheese.htm文件。    上面介紹了一些簡(jiǎn)單的設(shè)置,對(duì)于比較復(fù)雜的設(shè)置,可參看一些大型站點(diǎn)如CNN或Looksmart的robots.txt文件(www.cnn.com/robots.txt, www.looksmart.com/robots.txt ) 附錄II. 相關(guān)robots.txt文章參考:    1. Robots.txt常見(jiàn)問(wèn)題解析    2. Robots Meta Tag的使用    3. Robots.txt檢測(cè)程序

以上部分內(nèi)容(文字、圖片)收集于互聯(lián)網(wǎng),版權(quán)歸原作者所有。感謝每一位辛勤著寫(xiě)的作者,感謝每一位的分享。免責(zé)聲明:如有侵犯您的原創(chuàng)版權(quán)請(qǐng)告知,我們將盡快刪除相關(guān)內(nèi)容,感謝您的理解與支持。
上一篇:搜索引擎是如何工作的? 下一篇:垂直社區(qū)的重要性

服務(wù)項(xiàng)目查看更多

免責(zé)聲明

非常感謝您訪問(wèn)我們的網(wǎng)站,并請(qǐng)您仔細(xì)閱讀本聲明的所有條款:

1、本站部分內(nèi)容來(lái)源自網(wǎng)絡(luò),涉及到的部分文章和圖片版權(quán)屬于原作者,本站轉(zhuǎn)載僅供大家學(xué)習(xí)和交流,切勿用于任何商業(yè)活動(dòng)。

2、本站不承擔(dān)用戶因使用這些資源對(duì)自己和他人造成任何形式的損失或傷害。

3、本聲明未涉及的問(wèn)題參見(jiàn)國(guó)家有關(guān)法律法規(guī),當(dāng)本聲明與國(guó)家法律法規(guī)沖突時(shí),以國(guó)家法律法規(guī)為準(zhǔn)。

4、如果侵害了您的合法權(quán)益,請(qǐng)您及時(shí)與我們聯(lián)系,我們會(huì)在第一時(shí)間刪除相關(guān)內(nèi)容!

聯(lián)系方式:023-65309616
電子郵件:543874515@qq.com

ENABLE YOUR BRAND
TO BURST INTO EXCELLENCE
中高端定制開(kāi)發(fā)服務(wù)商
掃一掃,微信咨詢
130-7236-3699 543874515