爬行指的是搜索引擎蜘蛛从已知页面上解析出链接偏向的URL,随后顺着链接发觉新页面(也就是说链接偏向的URL)的过程。这样的话,蛛蛛并非发觉新URL马上就爬过去抓取新页面,只是把发觉的URL储放到待抓地址库中,蜘蛛依照必须次序从详细地址库中获取要爬取的URL。
搜索引擎蜘蛛,是搜索引擎自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容,方便搜索引擎对这些内容进行索引, 然后用户就可以在搜索引擎里搜索他们想要的内容,出现他们需要的结果。由于抓取程序的在互联网上不停地爬,就好比蜘蛛在他的网上爬取一样,所以大家给“搜索引擎抓取程序”取名叫蜘蛛。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)