怎么分析网站日志？
登录“FTP”账号，链接到网站数据，找到网站日志文件夹。（注意：一般情况下，网站日志所在文件夹都是与网站文件同级文件夹，且带有log字样。只有少数情况下，网站日志文件夹在网站根目录下。）
打开文件夹，下载日志压缩文件！（下载方法很简单，只要选中文件直接拖到电脑桌面，然后左下方的本地浏览下载目录的文件上“右键—传输队列”即可！）
解压下载的日志文件，而后将解压后文件的后缀改为“txt”
新建一个excel表格，并打开！找到顶端工具栏的“数据”工具
点击“导入数据”，默认“直接打开数据文件”，再选择“选择数据源”。
选中解压后的txt文档，并打开！
默认“其他编码”
选择“分隔符号”，并“下一步”；
勾选所有选项，然后“下一步”；
默认“常规”，并“完成”；
如图，网站日志哥数据项之间全部分隔开来；
接下来只要保留自己需要的数据项即可。删除不需要的数据项！（如图，仅保留了数据分析需要的访客ip、访问文件、访问状态码以及访客名称四项数据。）
选中访客名称一整列，然后点击“开始”栏目的“筛选”工具
点击访客名称一列上方的三角下拉按钮；
取消“全选”，找到百度蜘蛛的访客名称，选中并“确定”；
我们就可以得到日志当天百度蜘蛛访问网站的所有数据。
最后，该数据保存到网站每日分析日志中。（注意：每日更新原创内容的网站一般在分析日志的时候还需要保留时间数据。）
利用Windows 2003服务器的远程维护功能，并通过IE浏览界面，就能对服务器的日志文件进行远程查看了，不过默认状态下，Windows 2003服务器的远程维护功能并没有开通，需要手工启动。
查看服务器日志文件的作用
网站服务器日志记录了web服务器接收处理请求以及运行时错误等各种原始信息。通 过对日志进行统计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误原 因、了解客户访问分布等，更好的加强系统的维护和管理。
对于自己有服务器的朋友或是有条件可以看到服务器日志文件的朋友来说，无疑是了 解搜索引擎工作原理和搜索引擎对网页抓取频率的最佳途径。
通过这个文件，您可以了解什么搜索引擎、什么时间、抓取了哪些页面，以及可以知 道是主搜索蜘蛛还是从搜索蜘蛛抓取了您的网站等的信息。
访问原理
1、客户端（浏览器）和Web服务器建立TCP连接，连接建立以后，向Web服务器发出 访问请求（如：Get），根据HTTP协议该请求中包含了客户端的IP地址、浏览器类型、 请求的URL等一系列信息。
2、Web服务器收到请求后，将客户端要求的页面内容返回到客户端。如果出现错误，那么返回错误代码。
3、服务器端将访问信息和错误信息纪录到日志文件里。
下面我们就对本公司自己服务器其中的一个日志文件进行分析。由于文件比较长，所以我们只拿出典型的几种情况来说明。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 03:56:30
#Fields:
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port
cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12
03:56:30 三圆三圆三圆** 218.25.92.169 GET / - 80 - 220.181.18.98
Baiduspider+(+http://www.baidu.com/search/spider.htm) 403 14 5
/* 说明 */
上面定义了在2006年5月12日的3点56分30秒的时候，IP为220.181.18.98的百度蜘蛛通过80端口（HTTP）访问了IP为218.25.92.169的服务器的根目录，但被拒绝。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 10:18:39
#Fields:
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port
cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12
10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/index.htm - 80 - 10.2.57.6
Mozilla/4.0+(compatible+MSIE+6.0+Windows+NT+5.1+SV1) 200 0 0
2006-05-12
10:33:36 三圆三圆三圆** 218.25.92.169 GET /***/***/***.gif - 80 - 10.2.57.6
Mozilla/4.0+(compatible+MSIE+6.0+Windows+NT+5.1+SV1) 200 0 0
/* 说明 */
上面定义了在2006年5月12日的10点33分36秒的时候，IP为10.2.57.6的用户正常访问了网站三圆三圆三圆**中***目录下的index.htm页和***/***下的***。gif图片。
#Software: Microsoft Internet Information Services 6.0
#Version: 1.0
#Date: 2006-05-12 13:17:46
#Fields:
date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port
cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status
2006-05-12
13:17:46 三圆三圆三圆** 218.25.92.169 GET /robots.txt - 80 - 66.249.66.72
Mozilla/5.0+(compatible+Googlebot/2.1++http://www.google.com/bot.html)
404 0 2
2006-05-12 13:17:46 三圆三圆三圆** 218.25.92.169 GET / - 80 -
66.249.66.72
Mozilla/5.0+(compatible+Googlebot/2.1++http://www.google.com/bot.html)
403 14 5
/* 说明 */
上面定义了在2006年5月12日的13点17分46秒的时候，IP为66.249.66.72的Google蜘蛛访问了robots.txt文件，但没有找到此文件，有访问了此网站的根目 录，但被拒绝。
现在也有很多日志分析工具，如果您的服务器流量很大的话，作者推荐使用分析工具来分析服务器日志。
Web日志记录了web服务器接收处理请求，以及其运行时的错误等各种原始信息。通过对日志进行统计、分析、综合，就能有效地掌握服务器的运行状况，发现和排除错误、了解客户访问分布等，方便管理员更好地加强服务器的维护和管理。另外，Web日志也是判断服务器安全的一个重要依据，通过其可以分析判断服务器是否被入侵，并通过其可以对攻击者进行反向跟踪等。因此，对于Web日志攻击者往往以除之而后快。一、攻击者清除日志的常用伎俩 1、Web服务器系统中的日志 以WindowsServer 2003平台的Web服务器为例，其日志包括：安全日志、系统日志、应用程序日志、WWW日志、FTP日志等。对于前面的三类日志可以通过“开始→运行”输入eventvwr.msc打开事件查看器进行查看，WWW日志和FTP日志以log文件的形式存放在硬盘中。具体来说这些日志对应的目录和文件为： (1).安全日志文件:C:WINDOWSsystem32configSecEvent.Evt (2).系统日志文件:C:WINDOWSsystem32configSysEvent.Evt (3).应用程序日志文件:C:WINDOWSsystem32configAppEvent.Evt (4).FTP日志默认位置:C:WINDOWSsystem32LogfilesMSFTPSVC1 (5).WWW日志默认位置:C:WINDOWSsystem32LogfilesW3SVC12、非法清除日志 上述这些日志在服务器正常运行的时候是不能被删除的，FTP和WWW日志的删除可以先把这2个服务停止掉，然后再删除日志文件，攻击者一般不会这么做的。系统和应用程序的日志是由守护服务Event Log支持的，而它是没有办法停止的，因而是不能直接删除日志文件的。攻击者在拿下Web服务器后，一般会采用工具进行日志的清除，其使用的工具主要是CL和CleanIISLog。 (1).利用CL彻底清除日志 这个工具可以彻底清除IIS日志、FTP日志、计划任务日志、系统日志、安全日志等，使用的操作非常简单。 在命令下输入“cl -logfiles 127.0.0.1”就可以清除Web服务器与Web和FTP和计划任务相关的日志。其原理就是先把FTP、WWW、Task Scheduler服务停止再删除日志，然后再启动三个服务。(图2)celialin 该工具还可以选择性地清除相应的日志，比如输入“cl -eventlog All”就会清除Web服务器中与系统相关的日志。另外，此工具支持远程清理，这是攻击者经常采用的方法。首先他们通过命令“netuse ipipc$ 密码/user:用户名”在本地和服务器建立了管理员权限的IPC管理连接，然后用“CL -LogFile IP”命令远程清理服务日志。(图3)
(2).利用CleanIISLog选择性地清理IIS日志 比如攻击者通过Web注入方式拿下服务器，这样他的入侵痕迹(IP地址)都留在了IIS日志里。他们利用该工具只把其在IIS日志中的IP地址进行清除，这样就不会让对方管理员起疑心。 在命令中执行“CleanIISLog . IP”就可以清除IIS日志中有关该IP的连接记录同时保留其它IP记录。如果管理做了防范，比如更改了IIS日志的路径，攻击者在确定了日志的路径后，也可以通过该工具进行清除，其操作是，在命令行下执行“CleanIISLog IIS日志路径 IP地址”来清除指定IIS路径的IP记录。(图4)二、打造日志服务器保护日志 通过上面的演示可以看到，如果将服务器的日志保存在本地是非常不安全的。而且，如果企业中的服务器非常多的话，查看日志会非常麻烦。基于以上考虑，打造专门的日志服务器，即有利于服务器日志的备份又有利用于集中管理。 笔者的做法是，搭建一个FTP服务器用来日志的集中和备份，可以在服务器中通过专门的工具或者计划任务来实现日志的自动上传备份。这部分内容比较简单，笔者就不演示了。其实不仅可以将服务器日志备份到专门的日志服务器上，日志服务器还可以实现网络设备的日志备份。 以路由器为例，首先在其上进行设置，指定记录日志的服务器，最后通过FTP协议将日志数据传输到FTP服务器上。搭建FTP服务器可以利用IIS的FTP或者Serv-u，但是笔者觉得IIS的FTP在权限分配上不够方便，而Serv-u有漏洞太多，因此推荐TYPSoft FTP。 1、架设日志服务器 TYPSoft FTP是绿色软件，下载解压后双击ftpserv.exe文件，启动typsoft fip主程序。启动后，点击主界面菜单中的“设定→用户”，建立新账户log。接着在用户界面中设置log账号所对应的用户密码和日志保存的目录，最后点击“保存”按钮使设置生效，这样日志服务器就架好了。(图5)2、日志服务器的指定 当搭建好日志服务器后，只需要到相应的网络设置中通过SYSLOG或LOG命令指定要保存日志的服务器地址即可，同时加上设置好的账户名和密码即可完成传输配置工作。下面笔者就以Cisco6509设备上配置及指定日志服务器为例。 正常登录到设备上然后在全局配置模式下输入logging 192.168.1.10，它的意思是在路由器上指定日志服务器地址为192.168.1.10。接着输入logging trap，它的意思是设置日志服务器接收内容，并启动日志记录。trap后面可以接参数0到7，不同级别对应不同的情况，可以根据实际情况进行选择。如果直接使用logging trap进行记录的话是记录全部日志。配置完毕后路由交换设备可以发送日志信息，这样在第一时间就能发现问题并解决。日志服务器的IP地址，只要是能在路由交换设备上ping通日志服务器的IP即可，不一定要局限在同一网段内。因为FTP属于TCP/IP协议，它是可以跨越网段的。(图6) 总结：本文从攻击者的角度解析对Web日志的删除和修改，目的是让大家重视服务器日志的保护。另外，搭建专门的日志服务器不仅可以实现对日志的备份，同时也更利用对日志的集中管理。
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）