seo网站日志怎么把sem信息删掉

稍微有点麻烦，一般竞价投放都会在着陆页后添加渠道代码（类似带？xx=aa&m=bb这样的），日志比较大的话，最好先统计出SEM各渠道的渠道代码，然后用sed命令直接在爬虫日志记录里过滤掉包含渠道代码的记录。

比如：着陆页原地址为A，sem渠道m：A?from=m，百度爬虫日志为baidu.log，cygwin下你可以直接使用sed -i '/渠道1/d/渠道2/d/渠道3/d' baidu.log 来批量过滤掉包含渠道1、2、3特征码的记录。

日志是日记中的一种，多指非个人的，一般是记载每天所做的工作．如教学日志’班组日志’工作日志等．日记是对每天所遇到的事和所做的事的记录，有的兼记对这些事情的感受，有时也可不做记录，直接抒发感情。是个人性质的．

电脑里的日志是指日志数据可以是有价值的信息宝库，也可以是毫无价值的数据泥潭。要保护和提高你的网络安全，由各种操作系统、应用程序、设备和安全产品的日志数据能够帮助你提前发现和避开灾难，并且找到安全事件的根本原因。

当然，日志数据对于实现网络安全的价值有多大取决于两个因素:第一，你的系统和设备必须进行合适的设置以便记录你需要的数据。第二，你必须有合适的工具、培训和可用的资源来分析收集到的数据。

你不能分析你没有的东西

在你能够分析日志数据之前，你显然要收集数据。更重要的是，记录数据的程序或者设备要设置为收集你需要的数据。例如，微软的Windows操作系统在“Event Viewer Security”(安全事件观察器)中能够检查到各种活动和日志信息。然而，在Windows 2000和XP中，安全检查功能并不是缺省启用的，Windows Server 2003缺省的安全检查设置也许不能满足你的需求。

对于Windows中的安全检查事件，你可以选择记录成功的尝试，或者记录失败的尝试。如果你仅选择记录失败的访问文件和文件夹的数据，记录的数据就不会显示这个文件是什么时候被成功破解的。如果你仅记录成功地访问一个用户账号的尝试，记录的数据就不会向你显示一个黑客50次没有猜对那个账号的用户名和密码。

无论你是在使用Windows操作系统还是任何其它的设备和程序，你必须花费一些时间和努力事先了解你拥有的安全日志功能，并且为你的需要恰当地设置好日志选项。虽然简单地把一切都记录下来似乎是合乎逻辑的，但是，监测和记录安全事件会给处理器增加工作负担并且要使用内存和硬盘的空间。你需要了解可用的日志选项，在记录一切和全不记录之间选择最佳的平衡点，以便记录对你有价值的数据。

信息过载

一旦你收集完日志数据，这个挑战就是如何有效地利用这些数据。位于新泽西州Edison的netForensics公司安全战略家Anton Chuvakin指出:“一旦技术合适和收集完日志，就需要实施一个监测程序并且评估行动中的陷阱和可能的升级。

网络和安全管理员经常花费时间建立日志数据收集，但是，他们没有处理这些数据或者没有现成的资源来监测和分析那些数据。因为没有人监测这些日志数据，有关网络侦察或者潜在的攻击的信息也许会被忽略而失去时效。

当安全事件发生时，查看日志数据也许可以确定事件发生的时间。但是，在很多情况下，需要查看的数据量太大，人们没有经过技术培训或者不会查看这些数据，有日志数据也没有意义了。

现在，有安全事件管理(SEM)应用软件等一些工具专门用于监测安全事件并且使用某些逻辑或者过滤器帮助管理员获取有意义的数据。然而，这些工具仍需要设置和恰当地使用才能有效率。人们要对过滤的数据有所了解并且采取措施。

收集堆积如山的事件日志数据，如果没有经过培训的人员和资源对这些日志数据进行监测和分析，就如同没有收集任何数据一样毫无用处。在本系列讲座的下一讲，我将提供一些技巧，帮助你了解这些日志数据的意义，并且使用这些数据保护你的网络和增强网络的安全。

---