搜索引擎蜘蛛,是搜索引擎自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容,方便搜索引擎对这些内容进行索引, 然后用户就可以在搜索引擎里搜索他们想要的内容,出现他们需要的结果。由于抓取程序的在互联网上不停地爬,就好比蜘蛛在他的网上爬取一样,所以大家给“搜索引擎抓取程序”取名叫蜘蛛。
爬虫---每天随时到我们网站来爬行,爬内容。文本内容如果蜘蛛在爬行的时候发现我们的网站还不错,把我们的内容收录百度数据库索引。
所以的页面都会爬行,主页,列表页,内容页。
前提条件是网站首页必须要被收录才行。
爱站SEO工具包之网站日志分析工具的使用方法。
1、此工具可以自动识别IIS、Apache、Nginx日志格式,支持直接拖拽日志一个或多个文件(夹)至窗口进行分析,每一项数据都分别以“数据显示”和“图形显示”两种不同方式向用户展示数据结果。
2、蜘蛛分析之(概要分析)即所有不同的蜘蛛的访问次数、停留时间、总抓取量的数据分析,(还可以单选不同蜘蛛)进行查询。
蜘蛛分析之(概要分析)图表显示,(还可以单选不同蜘蛛)进行查询显示。
3、蜘蛛分析之(目录抓取)即站点目录被抓取的数据量分析。
可以针对对某个目录或蜘蛛进行单独查询分析,且可切换至图表显示,显示抓取量饼图,轻松了解蜘蛛抓取目录概况。
4、蜘蛛分析之(页面抓取)
所有页面蜘蛛抓取量分析,还可以针对某个页面或某个蜘蛛进行单独查询分析。切换至图标显示,可以显示页面抓取量饼图,快速了解抓取量最多的页面,轻松分析页面抓取情况。
5、蜘蛛分析之(IP排行)
分析所有蜘蛛IP地址的访问次数、抓取量和停留时长,并可以针对某个ip或蜘蛛进行单独查询分析。
6、搜索引擎分析之(关键词分析)可分析出各搜索引擎来路的关键词。
7、 状态码分析分为用户状态码和蜘蛛状态码。通过查看网站正常状态码和问题状态码,第一时间发现网站的问题页面,及时修改,改善用户体验和蜘蛛体验。
8、按时间统计,工具自动保存不同日期的日志文件数据,每一项统计功能都可以按照时间来分析,可有效查看时间段内的数据变化趋势。(还可以单选不同蜘蛛)进行查询显示。
以上就是爱站SEO工具包之网站日志分析工具的详细介绍。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)