robots協議書是正確引導蛛蛛抓取網站地形圖，也用于維護網站信息和比較靈敏信息內容，保證客戶私家信息和隱私維護不被損害。存有于網站根目錄正，以文件格式存有，留意robots文件夾名稱不可以隨意改變。
SEO高手為什么要懂robots?
書寫：:表達關于某一爬蟲，
:表達制止抓取
:容許抓取
.*通配符，表達悉數
.$結束符，表達以哪些結尾
/根域下就是指網站根目錄
注：灶具顯現英文情況下的，并且后邊有一個空格符，首寫有必要小寫。
例：
1、User-agent:*Disallow:/關于悉數爬蟲制止抓取根目錄下的悉數銜接
2、User-agent:BaiduspiderDisallow:/制止百度爬蟲抓取網站悉數聯接
3、User-agent:*Disallow:/a/關于悉數的爬蟲制止抓取網站根目錄下的a目錄
4、User-agent:*Disallow:/a關于悉數的爬蟲制止抓取網站根目錄下為“a”開端的文檔
5、User-agent:*Disallow:/*？*（？表達動態性符）制止抓取網站根目錄下帶？號的動態性銜接
6、User-agent:*Disallow:/*.js$制止抓取網站根目錄下邊以.js結尾的文檔
7、User-agent:*Disallow:/a/Allow:/a/b/制止抓取網站根目錄下邊“a”，容許抓取“a”目錄下邊的“b”目錄。
8、User-agent:*Disallow:/a/Allow:/a/b制止抓取網站根目錄下邊“a”目錄，容許抓取“a”目錄中以“b”開端的文檔。
郵箱：dgce@dgce.com.cn
地址：南城街道宏一路G1蜂匯1棟寫字樓803、804
業務咨詢微信
今日已有165人獲取方案
?業務咨詢