百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源,第1张

百度爬虫能识别css和js里的内容,而且一般查看服务器日志里,都会有对js、css以及图片的抓取,不用担心浪费爬虫资源,一般来说百度都会派出一些爬虫去抓取样式表script等,主要是为了确保快照的正常展示,我自己也尝试过屏蔽,对百度快照的影响比较大。

如果听过N年前阿里巴巴前SEO负责人张国平的培训课程,就知道目前阿里系SEOer,基本上不建议屏蔽对静态文件的抓取的。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/545171.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-06-27
下一篇2023-06-27

发表评论

登录后才能评论

评论列表(0条)

    保存