国产精品欧美亚洲韩国日本99-国产精品欧美亚洲韩国日本不卡-国产精品欧美在线不卡-国产精品欧美韩国日本久久-大色香蕉色视频大全-大陆1区二区三区


武漢做網站的公司|禁止搜索引擎收錄的方法

2017年 / 04月27日

    為什么要禁止搜索引擎收錄?武漢做網站的公司—武漢盛世互聯小編為你介紹:一般我們網站可能會有較大的文件,如:圖片、FLASH、JS、視頻等,為了節省寬帶,也為了方便搜索引擎抓取,我們會設置robots協議,禁止搜索引擎收錄。如果你希望搜索引擎收錄網站所有的內容,就不要建立robots.txt協議。

    武漢做網站的公司|禁止搜索引擎收錄的方法

    一般來說spider在訪問一個網站時,最先就是查看網站的robots.txt,用于指定蜘蛛抓取網站上的數據。在文件中聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    robots.txt文件放在哪里?

    robots.txt文件應該放置在網站根目錄下。當spider訪問一個網站,比如武漢做網站的公司—盛世互聯官網:http://www.dgxxwl.cn時,首先會檢查該網站中是否存在http://www.dgxxwl.cn/robots.txt這個文件,如果Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。如圖下:

robots.txt協議

    禁止搜索引擎收錄的方法

一、禁止搜索引擎跟蹤網頁的鏈接,而只對網頁建索引

    如果您不想搜索引擎追蹤此網頁上的鏈接,且不傳遞鏈接的權重,請將此元標記置入網頁的部分:

robots

二、如果您不想百度追蹤某一條特定鏈接,百度還支持更精確的控制,請將此標記直接寫在某條鏈接上:

robots

三、要允許其他搜索引擎跟蹤,但僅防止百度跟蹤您網頁的鏈接,請將此元標記置入網頁的部分:

robots

四、我想禁止百度圖片搜索收錄某些圖片,該如何設置?

    禁止Baiduspider抓取網站上所有圖片、禁止或允許Baiduspider抓取網站上的某種特定格式的圖片文件可以通過設置robots實現,例:

1、禁止Baiduspider抓取網站上所有圖片,僅允許抓取網頁,禁止抓取任何圖片。

robots

2、僅允許Baiduspider抓取網頁和.gif格式圖片,允許抓取網頁和gif格式圖片,不允許抓取其他格式圖片。

robots

3、僅禁止Baiduspider抓取.jpg格式圖片

robots

    最后需要說明的是:百度會嚴格遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。想了解更多可閱讀武漢網站優化的相關新聞。

主站蜘蛛池模板: 亚洲国产精品线观看不卡| 在线a人片免费观看国产| 国产欧美日韩综合精品一区二区| 精品国产品国语在线不卡丶| 精品国产香港三级| 国产手机在线视频放线视频| 国产成人综合亚洲一区| 波多野结衣一区二区| 最新在线精品国自拍视频| 中文字幕成人免费高清在线 | 久久精品视频一区| 久久狠狠一本精品综合网| 久草不卡视频| 国产午夜精品免费一二区| 国产精品91在线播放| 成人在线视频一区| 99久久精品国产自免费| 91国在线啪精品一区| 亚洲三级精品| 色综合天天综合网看在线影院| 日韩欧美中文字幕一区二区三区 | 日本一区二区不卡视频| 欧美成人乱弄视频| 久章草在线| 国产精品久久久久久麻豆一区| 成人区精品一区二区毛片不卡| 永久天堂| 午夜成人影视| 男女交性拍拍拍高清视频 | 日韩成人在线视频| 欧美成人在线观看| 精品乱人伦一区二区| 国产成人综合自拍| 亚洲欧美在线综合一区二区三区| 三级毛片在线播放| 免费观看黄色毛片| 狠狠色丁香久久综合网| 东凛中文字幕| 在线免费黄网| 三级a黄| 免费国产午夜高清在线视频 |