robots.txt檔案常用寫法示例
robots.txt檔案用法舉例:
1. 允許所有的robot訪問
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
3. 僅禁止Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow: /
4. 僅允許Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow:
5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
以上就是我們在seo中常需要用到的寫法
轉載請註明出處,本文鏈接:https://www.uj5u.com/qianduan/37242.html
標籤:HTML(CSS)
上一篇:iview框架中table的渲染
