爬虫每次爬完一个内容,会记录下IP,下次会直接去这个IP再访问,如果此时CDN节点已经撤了,则爬虫就无法拿到内容......
另外,如果你网站的访问者基本都是在国内的话,建议还是选用国内的CDN。像cloudflare这样的CDN服务提供商在国内是没有节点的,这样,任何国内的访问者都会被解析到国外的节点。而国内到国外的线路是经常“抽疯”的。
欢迎分享,转载请注明来源:夏雨云
爬虫每次爬完一个内容,会记录下IP,下次会直接去这个IP再访问,如果此时CDN节点已经撤了,则爬虫就无法拿到内容......
另外,如果你网站的访问者基本都是在国内的话,建议还是选用国内的CDN。像cloudflare这样的CDN服务提供商在国内是没有节点的,这样,任何国内的访问者都会被解析到国外的节点。而国内到国外的线路是经常“抽疯”的。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)