禁止除百度外所有的搜索引擎抓取任何内容的robots,文件该如何书写?

禁止除百度外所有的搜索引擎抓取任何内容的robots,文件该如何书写?,第1张

User-agent: Baiduspider

Allow: /

User-agent: 360Spider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: Sosospider

Disallow: /

User-agent: YodaoBot

Disallow: /

User-agent: Googlebot

Disallow: /

User-agent: Bingbot

Disallow: /

User-agent: Slurp

Disallow: /

User-agent: Teoma

Disallow: /

User-agent: ia_archiver

Disallow: /

User-agent: twiceler

Disallow: /

User-agent: MSNBot

Disallow: /

User-agent: Scrubby

Disallow: /

User-agent: Robozilla

Disallow: /

User-agent: Gigabot

Disallow: /

User-agent: googlebot-image

Disallow: /

User-agent: googlebot-mobile

Disallow: /

User-agent: yahoo-mmcrawler

Disallow: /

User-agent: yahoo-blogs/v3.9

Disallow: /

User-agent: psbot

Disallow: /

User-agent: *

Allow: /

Disallow: /admin

Sitemap:https://jfzq.zhenxinguoji.com/sitemap.xml

百度:Baiduspider

神马/一搜:YisouSpider

搜狗:Sogou web spider

谷歌:Googlebot

360:360Spider或HaosouSpider

必应蜘蛛:bingbot


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/278047.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-20
下一篇2023-04-20

发表评论

登录后才能评论

评论列表(0条)

    保存