企業(yè)與個(gè)人網(wǎng)絡(luò)營(yíng)銷(xiāo)一站式服務(wù)商
        網(wǎng)站建設(shè) / SEO優(yōu)化排名 / 小程序開(kāi)發(fā) / OA
        0731-88571521
        136-3748-2004
        怎樣寫(xiě)網(wǎng)站的robots文件 robots.txt這個(gè)文件是什么?有什么作用?
        信息來(lái)源:長(zhǎng)沙做百度SEO   發(fā)布時(shí)間:2018-11-13   瀏覽:

        一個(gè)網(wǎng)站如果”/robots.txt”不存在或者為空文件,那么說(shuō)明此網(wǎng)站對(duì)于所有的搜索引擎robot,該網(wǎng)站都是開(kāi)放的。


        從京東和淘寶的robots.txt文件協(xié)議來(lái)看,robots.txt文件要講究語(yǔ)法的.
        三個(gè)語(yǔ)法
        1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類(lèi)型。
        2、Disallow ——不希望被訪問(wèn)的一組URL,定義禁止抓取收錄地址。
        3、Allow——希望被訪問(wèn)的一組UR。
        a、  *      匹配0或多個(gè)任意字符。
        b、  $      結(jié)束符。 

        首先寫(xiě)User-agent:
        A、U必須大寫(xiě),后面的小寫(xiě),緊接著冒號(hào) ——這里還要注意一點(diǎn):輸入法必須調(diào)成英文狀態(tài),都是英文狀態(tài)下的)
        B、空一格再定義搜索引擎類(lèi)型。比如定義百度蜘蛛


        再寫(xiě)
        Disallow ——不希望被訪問(wèn)的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問(wèn)的一組UR。
        Disallow: /(空一格,一撇)
        Allow: /(空一格,一撇)


        舉例:

        1. 禁止所有搜索引擎訪問(wèn)網(wǎng)站的任何部分

        User-agent: *

        Disallow: /


        2. 僅禁止Baiduspider訪問(wèn)您的網(wǎng)站

        User-agent: Baiduspider

        Disallow: /


        3.禁止Google索引你的網(wǎng)站。

        User-agent: Googlebot

        Disallow: /


        4.除了百度以外,其他一切搜索引擎禁止索引你的網(wǎng)站。

        User-agent: Baiduspider

        Allow: /

        User-agent: *

        Disallow: /


        5. 禁止所有搜索引擎訪問(wèn)install這個(gè)目錄以及install這個(gè)目錄下的所有文件

        User-agent: *

        Disallow: /install


        6.禁止百度搜索引擎訪問(wèn)admin目錄;允許訪問(wèn)images目錄。

        User-agent: Baiduspider

        Disallow: /admin

        Allow: /images


        7.禁止百度搜索引擎訪問(wèn)網(wǎng)站所有.jpg的圖片

        User-agent: Baiduspider

        Disallow: /*.jpg$


        8.禁止百度搜索引擎訪問(wèn)網(wǎng)站所有的圖片

        User-agent: Baiduspider

        Disallow: /*.jpg$

        Disallow: /*.png$

        Disallow: /*.gif$


        9.禁止所有搜索引擎訪問(wèn)admin目錄下所有php文件;允許訪問(wèn)asp文件。

        User-agent: *

        Disallow: /admin/*.php$

        Allow: /admin/*.asp$


        10.禁止所有搜索引擎索引網(wǎng)站中所有的動(dòng)態(tài)路徑。

        User-agent: *

        Disallow: /*?*


        重點(diǎn)區(qū)分以下兩種:

        a、禁止搜索引擎訪問(wèn)faq目錄下的所有文件

        User-agent: *

        Disallow: /faq/     

        例1:http://www.boundlesssupremacy.com/faq/1.html 不能訪問(wèn)

        例2:http://www.boundlesssupremacy.com/faq1.html 能訪問(wèn)


        b、禁止搜索引擎訪問(wèn)以faq開(kāi)頭的所有文件

        User-agent: *

        Disallow: /faq

        例1:http://www.boundlesssupremacy.com/faq/1.html 不能訪問(wèn)

        例2:http://www.boundlesssupremacy.com/faq1.html 不能訪問(wèn)






        上一條: 網(wǎng)站被鏡像怎么辦?網(wǎng)站內(nèi)容被別人的網(wǎng)站克隆,網(wǎng)站怎么防被鏡像
        下一條: 五一放假期間 斌網(wǎng)網(wǎng)絡(luò)對(duì)升級(jí)的通知
        案例鑒賞
        多年的網(wǎng)站建設(shè)經(jīng)驗(yàn),斌網(wǎng)網(wǎng)絡(luò)不斷提升技術(shù)設(shè)計(jì)服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
        維護(hù)與安全
        多年的網(wǎng)站建設(shè)經(jīng)驗(yàn),網(wǎng)至普不斷提升技術(shù)設(shè)計(jì)服務(wù)水平,迎合搜索引擎優(yōu)化規(guī)則
        長(zhǎng)沙私人做網(wǎng)站    長(zhǎng)沙做網(wǎng)站    深圳網(wǎng)站建設(shè)    株洲做網(wǎng)站    東莞做網(wǎng)站    湖南大拇指養(yǎng)豬設(shè)備    株洲做網(wǎng)站    
        版權(quán)所有 © 長(zhǎng)沙市天心區(qū)斌網(wǎng)網(wǎng)絡(luò)技術(shù)服務(wù)部    湘公網(wǎng)安備 43010302000270號(hào)  統(tǒng)一社會(huì)信用代碼:92430103MA4LAMB24R  網(wǎng)站ICP備案號(hào):湘ICP備13006070號(hào)-2  
        人妻AV中文字幕一区二区三区| 曰韩无码AV片免费播放不卡| 亚洲色偷拍区另类无码专区| 亚洲日韩欧洲无码av夜夜摸| 日韩美无码五月天| 亚洲精品无码不卡在线播HE| 亚洲中文精品久久久久久不卡| 久久久久亚洲av无码专区喷水| 狠狠综合久久综合中文88| 无码欧精品亚洲日韩一区夜夜嗨| 亚洲成AV人在线播放无码 | 日韩国产成人无码av毛片 | 无码精品人妻一区二区三区漫画 | 久久久网中文字幕| 中文字幕乱码人在线视频1区 | 亚洲一区二区三区无码中文字幕 | 蜜臀av无码人妻精品| 人妻丰满熟妞av无码区| 亚洲综合av永久无码精品一区二区| 日本中文字幕在线不卡高清| 久久精品中文字幕大胸| 免费无码专区毛片高潮喷水| 成人av片无码免费天天看| 无码av最新无码av专区| 亚洲乱亚洲乱妇无码麻豆| 国产成人麻豆亚洲综合无码精品| 日本中文字幕在线电影| 最近最新中文字幕高清免费| 欧美激情中文字幕| 亚洲第一中文字幕| 日韩欧美一区二区三区中文精品| 乱人伦中文视频高清视频| 免费精品久久久久久中文字幕| 日本中文一区二区三区亚洲| 无码人妻久久一区二区三区蜜桃| 中文字幕在线免费看线人| 熟妇人妻无乱码中文字幕真矢织江| 最好看更新中文字幕| 再看日本中文字幕在线观看| 台湾无码AV一区二区三区| 久久久无码精品亚洲日韩京东传媒 |