如何进行网站日志分析

一、什么是网站日志

1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。

2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。

3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。

为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*百度蜘蛛：Baiduspider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot

二、如何看懂网站日志

（以下为一段日志记录）www.cafehome.com

58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html

HTTP/1.1" 200 12264 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0

(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)

Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"

以下为字段解读：

通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋 可以继续深入了解。

大型网站通常可以用以上的方法来进行做日志分析。

普通的个人站点，或者企业网站，则可以通过 光年日志分析工具结合百度站长平台一起使用。

三、为什么要做网站日志分析

 先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量

因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。

所以，对于SEO运营而言，分析搜索引擎网站日志就显得非常有必要：*分析抓取有无：解决一定的索引问题。*发现异常：及时规避。如存在大量异常页面，404等*抓取调控：让更多优质的内容被抓取，过滤无效抓取。

网站分析的最终目标：让更多有价值的页面被抓取，将有机会获得索引，从而有机会获得SEO流量。

四、怎么做网站日志分析

*定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。*借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。

举个栗子：

老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。

分2种情况：

了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。

分析内在：

在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率

。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。

在此先解释这个概念，方便理解：

1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2.抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：

（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。

（2）运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致。

小结一下：

老站如何做网站日志分析（针对中文站点）：外界排除：

了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：

（1）使用工具：百度站长平台（非VIP账户看后文介绍）

（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

五、用光年日志分析工具

非百度VIP：

步骤：

1.下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）

2.打开光年日志分析工具，上传网站日志。

3.查看分析结果。主要维度有这几个：

（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。

（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。

（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。

因为有了你，世界更美丽- -(一篇感人的网络日志)

记得有这样一句话“民族之间的较量，就是母亲与母亲之间的较量”，它的出处我已经不得而知了，但这句话在我的内心产生了很大的触动。母亲，一个伟大而又神圣的称谓，不知道有多首诗吟诵过您，不知道有多少首歌曲歌唱过你，现在我还是想用自己不华丽的语言，倾诉我对你——伟大的母亲的挚爱之情。

有这样一个故事 在我们中国是家喻户晓的，一个孤身抚养孩子的母亲，为了让孩子有一个更好的成长环境，连续搬家三次，她的这种行动成就了儒家思想的一个伟大人物，人们称之为“亚圣”的思想家——孟子。她的故事也因此成了三字经中人人耳熟能详的两句“昔孟母，择邻处”教育着后人。人们都知道孟子是中国思想史上的一颗璀灿的明星，但是我们可以想像，假如没有这样一位远见卓识的母亲，中国损失掉的会是什么。

还有这样的一位母亲，她的孩子在八岁的时候因为各门功课实在太差而被老师喝斥：“再也没有像你这样笨的孩子了。”孩子跑到家里向母亲哭诉，母亲对他说：“妈妈相信你是最好的孩子，妈妈教你。”就这样，一个笨孩子在这位伟大母亲的感召下，一步步、一步步的走上了科学研究之路，最终成了举世瞩目的人物。这个孩子的名字叫做爱迪生，我们可以想像，假如没有这位母亲，我们的世界会因此产生多大的损失。

有人说母爱如海，因为她有包容一切的胸怀，有人说母爱如烛，因为她呕心沥血，燃烧自己照亮别人，还有人说，母爱是阳光，因为她温暖身心，给人力量……我觉得用世界上任何美好的事物来比喻母爱都不过份，但是我更喜欢把母爱比做春雨，那是一种执着的，默默无声的，不计回报的付出 ，那是一种温情，那是一种关怀。

俗话说，“不养儿不知道父母恩”，当我自己也成为一个母亲的时候 ，我才发现原来生活中每一件平凡的小事都渗透着母亲的心血，衣、食、住、行、又有哪一样不是母亲在那里操持呢？原来，母亲头上的那一根根白发，就是她付出一点一滴关爱的活生生的记载啊，但是，母亲从来没有抱怨过，也从来没有向我要求过什么，只是默默的付出着。

我为早晨母亲递上的牛奶感动，我为身上母亲亲手织的毛衣感动，我为临上路时母亲的叮咛感动，我为回家时母亲和譪的问候感动；孩子病了，年轻的母亲陪着打针的孩子一起哭泣，那晶莹的泪滴让我感动；学习进步，开心的母亲灿烂的笑容让我感动；事业有成，年迈的母亲自豪的表情让我感动，太多的感动让我无法罗列。但是我知道，这些都是母亲的一颗心，我为天下所有朴实的母亲的心而感动。

如果你是一个孩子，那就请你用最甜美的声音告诉你的母亲你有多爱她，假如你是一个成人，那就请你用你最朴实的行动去表达你对母亲所有的爱意.

SEO就是采取一系列策略将网站排在免费搜索引擎搜索结果的顶部。这种收录方式叫做有机列表 或者自然列表。实际上你可以主导网站被收录的方式，从而提高网站的排名–方法就是投搜索引擎所好。

你所需做的就是优化你的网站，搜索引擎相应地就会给予更多的关注。这样，当人们搜索你的产品或服务的时候，你的网站就会被排在搜索结果的最前面。以下是一些关键的SEO策略：

1) 挑选你所面向的市场上最热门的关键字

。对于任何一场搜索营销竞争，这是第一步。

2) 将关键字插入到页面和代码中的适当位置。网站有很多热区，搜索引擎蜘蛛会定期从中抓取关键字。具体做法是将关键字放到大标题、副标题和正文里。另外在代码中，以链接文本(anchor text)、替代文本(alt text)、title标签、imgage标签和meta标签等方式插入。但要适可而止，比如在meta标签中堆砌关键字的老一套已经无效了。

4) 保持更新，让蜘蛛不断光顾你的网站。被蜘蛛抓取的内容越新，关联性越强，你的网站排名就越有可能靠前。无论是业务还是产品上的变动或升级，网站上的内容要相应保持在最新。新闻邮件或公告也应该发布到网站上存档。还有博客和论坛，每天的更新、讨论能吸引人们不断回访，对网站保持更新也有帮助。

5) 调整关键字密度。确保整合到网页中的关键字要尽可能自然而然。如果网站上的文字都是些乱七八糟的关键字，是难以吸引访客的。百分之四到六这样的密度就差不多了。

6) 与那些有名气的、有相关性的网站做链接。自然、相关的外部链接是搜索引擎之金。把你的策略集中在向那些在搜索引擎有很高的自然排名的网站请求单向链接。另外，制造一些链接诱饵– 在高质量的内容里加上一个回访的链接。发表免费的文章和新闻稿也是一个很好的方法去获得高质量的外部链接。更多信息可以参阅这篇文章：《用富关键字文章(Keyword-Rich Article)提高网站流量》*

7) 使用站点地图，提高网站在Google,Yahoo和Windows Live Search的排名。站点地图是用来帮助蜘蛛贯穿网站的所有页面。借助于这份《站点地图》* 格式协议，上述三位搜索巨头给出了相当多的暗示，你可以更轻松地为站点建立索引。

SEO在你的网络营销策略中应该占据核心地位。这是最廉价有效的途径。实际上，针对自然搜索引擎的优化大多数都是免费的。但有可能会有点慢。即使你做了，或许得等上一段时间搜索排名上的效果才会显示出来。以下一些做法能让你更快地俘获目标流量。

付费点击广告1) 付费点击广告的效果立竿见影。就算你的网站还未被搜索引擎收录也能带来流量。

2)只需按效果付费。无论你的广告显示了多少次，只当有人点了链接你才需付费。通过仔细观察结果，你就可以对转化率是否理想有个定论，从而决定广告是否值得继续。

3)这是个非常棒的工具！用付费点击广告，你可以同时打几个广告，马上就知道哪个效果最好。通过这种方式测试关键字，然后选用效果最佳的放到网站，从而提高自然搜索的排名。

通过付费点击广告和搜索引擎优化，你的目标市场肯定能找得到你了。没有任何一种策略比得上搜索营销，让你如此游刃有余。你可以显着地提高搜索引擎排名，为网站引导高质量的、所期望的流量 而且往往是分文不花。

这里提到的大多数技术都是很基础的，一些技术也在不断在更新或淘汰。上一年的技巧今年再用可能已经不再凑效。另一方面，如果发现了一个新的搜索营销技巧，能让你遥遥领先于竞争对手。所以，懂得这些基本的同时要去尝试一下新的技巧或策略。通过持续不断的搜索营销，你就能在目标市场最需要你的地方出现– 即搜索结果的最前面和最中央。

最重要的是要不断利用新的搜索营销技巧，能让你遥遥领先于竞争对手,这样才能立于不败之地.

---