企業與個人網絡營銷一站式服務商
        網站建設 / SEO優化排名 / 小程序開發 / OA
        0731-88571521
        136-3748-2004
        怎樣寫網站的robots文件 robots.txt這個文件是什么?有什么作用?
        信息來源:長沙做百度SEO   發布時間:2018-11-13   瀏覽:

        一個網站如果”/robots.txt”不存在或者為空文件,那么說明此網站對于所有的搜索引擎robot,該網站都是開放的。


        從京東和淘寶的robots.txt文件協議來看,robots.txt文件要講究語法的.
        三個語法
        1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類型。
        2、Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址。
        3、Allow——希望被訪問的一組UR。
        a、  *      匹配0或多個任意字符。
        b、  $      結束符。 

        首先寫User-agent:
        A、U必須大寫,后面的小寫,緊接著冒號 ——這里還要注意一點:輸入法必須調成英文狀態,都是英文狀態下的)
        B、空一格再定義搜索引擎類型。比如定義百度蜘蛛


        再寫
        Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問的一組UR。
        Disallow: /(空一格,一撇)
        Allow: /(空一格,一撇)


        舉例:

        1. 禁止所有搜索引擎訪問網站的任何部分

        User-agent: *

        Disallow: /


        2. 僅禁止Baiduspider訪問您的網站

        User-agent: Baiduspider

        Disallow: /


        3.禁止Google索引你的網站。

        User-agent: Googlebot

        Disallow: /


        4.除了百度以外,其他一切搜索引擎禁止索引你的網站。

        User-agent: Baiduspider

        Allow: /

        User-agent: *

        Disallow: /


        5. 禁止所有搜索引擎訪問install這個目錄以及install這個目錄下的所有文件

        User-agent: *

        Disallow: /install


        6.禁止百度搜索引擎訪問admin目錄;允許訪問images目錄。

        User-agent: Baiduspider

        Disallow: /admin

        Allow: /images


        7.禁止百度搜索引擎訪問網站所有.jpg的圖片

        User-agent: Baiduspider

        Disallow: /*.jpg$


        8.禁止百度搜索引擎訪問網站所有的圖片

        User-agent: Baiduspider

        Disallow: /*.jpg$

        Disallow: /*.png$

        Disallow: /*.gif$


        9.禁止所有搜索引擎訪問admin目錄下所有php文件;允許訪問asp文件。

        User-agent: *

        Disallow: /admin/*.php$

        Allow: /admin/*.asp$


        10.禁止所有搜索引擎索引網站中所有的動態路徑。

        User-agent: *

        Disallow: /*?*


        重點區分以下兩種:

        a、禁止搜索引擎訪問faq目錄下的所有文件

        User-agent: *

        Disallow: /faq/     

        例1:http://www.boundlesssupremacy.com/faq/1.html 不能訪問

        例2:http://www.boundlesssupremacy.com/faq1.html 能訪問


        b、禁止搜索引擎訪問以faq開頭的所有文件

        User-agent: *

        Disallow: /faq

        例1:http://www.boundlesssupremacy.com/faq/1.html 不能訪問

        例2:http://www.boundlesssupremacy.com/faq1.html 不能訪問






        上一條: 網站被鏡像怎么辦?網站內容被別人的網站克隆,網站怎么防被鏡像
        下一條: 五一放假期間 斌網網絡對升級的通知
        案例鑒賞
        多年的網站建設經驗,斌網網絡不斷提升技術設計服務水平,迎合搜索引擎優化規則
        維護與安全
        多年的網站建設經驗,網至普不斷提升技術設計服務水平,迎合搜索引擎優化規則
        長沙私人做網站    長沙做網站    深圳網站建設    株洲做網站    東莞做網站    湖南大拇指養豬設備    株洲做網站    
        版權所有 © 長沙市天心區斌網網絡技術服務部    湘公網安備 43010302000270號  統一社會信用代碼:92430103MA4LAMB24R  網站ICP備案號:湘ICP備13006070號-2  
        久久久久久久亚洲Av无码| 免费VA在线观看无码| 天码av无码一区二区三区四区| 久久中文字幕无码专区 | 中文字幕久久亚洲一区| 亚洲av无码成人精品国产| 无码人妻久久久一区二区三区| 精品久久久久久久久久中文字幕| 五十路熟妇高熟无码视频| 国产成人无码18禁午夜福利p| 区三区激情福利综合中文字幕在线一区 | 色视频综合无码一区二区三区| 午夜无码A级毛片免费视频| 青娱乐在线国产中文字幕免費資訊 | 无码区日韩特区永久免费系列| 免费人妻无码不卡中文字幕系 | 亚洲中文字幕无码爆乳AV | 久久久久成人精品无码中文字幕| 久久亚洲AV无码西西人体| 国产aⅴ无码专区亚洲av| 无码人妻一区二区三区免费n鬼沢| 国产av无码专区亚洲av果冻传媒| 日韩欧美成人免费中文字幕| 一本久中文视频播放| 超清无码无卡中文字幕| 亚洲中文字幕在线乱码| 中文人妻无码一区二区三区 | 欧美日韩亚洲中文字幕一区二区三区| 东京热无码av一区二区 | 人妻无码人妻有码中文字幕| 精品无码久久久久久久动漫| av区无码字幕中文色| 久久午夜无码鲁丝片午夜精品| 国产午夜精品无码| 久久久久亚洲AV无码专区桃色| 国产精品xxxx国产喷水亚洲国产精品无码久久一区 | 亚洲不卡中文字幕无码| 无码人妻少妇久久中文字幕蜜桃| 中文字幕乱码中文乱码51精品| 亚洲va中文字幕无码| 亚洲精品无码午夜福利中文字幕 |