新功能：阿里云反爬虫管理利器！

背景

爬虫形势

Web安全形势一直不容乐观, 根据 Globaldots的2018年机器人报告 , 爬虫占据Web流量的42%左右.

为什么要反爬

防资源过度消耗

大量的机器人访问网站, 设想你的网站有42%的流量都不是真的人访问的. 相当一部分还会大量占用后台的网络带宽, 服务器计算, 存储资源.

防黄牛党

航空公司占座: 黄牛党利用恶意爬虫遍历航空公司的低价票，同时批量发起机器请求进行占座，导致航班座位资源被持续占用产生浪费，最终引发航班空座率高对航空公司造成业务损失，并且损害正常用户的利益。

防薅羊毛党

黄牛党在电商活动时针对有限的高价值商品的限时秒杀、优惠活动等可牟利场景，批量发起机器请求来模拟正常的交易，再将商品、资源进行倒卖从中赚取差价，导致电商企业的营销资源无法触达正常用户，而被黄牛牟取暴利。

防黑客

核心接口被刷: 登录、注册、短信等业务环节作为业务中的关键节点，相关接口往往会被黑客利用，为后续的欺诈行为作准备。

私信菜鸟007即可获取数十套PDF！

为什么需要日志分析

找出隐藏更深的机器人

爬虫与反爬虫是一个攻与防的过程, 根据前述报告, 高级机器人占据了74%的比例(剩余是比较简单的机器人), 而根据 FileEye M-Trends 2018报告 ，企业组织的攻击从发生到被发现，一般经过了多达101天，其中亚太地区问题更为严重，一般网络攻击被发现是在近498（超过16个月）之后。有了日志才能更好的找出隐藏很深的坏机器人.

了解机器人并区分对待

爬虫也分好与坏, 搜索引擎来查询, 才可以达到SEO效果并带来更多有价值的访问. 通过日志可以帮助管理员更好的区分哪些是好的机器人, 并依据做出更加适合自己的反爬配置.

保留报案证据

发现非法攻击的机器人, 可以保留攻击者信息与路径, 作为报警的重要证据.

增强运维效率

基于日志可以发现异常, 并能快速报警并采取行动.

更多附加功能

依托日志服务的其他功能, 可以发挥日志的更大价值.

阿里云反爬管理 - 实时日志分析概述

阿里云反爬管理

云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。 产品提供从Web、App到API接口的一整套全面的恶意Bot防护解决方案，避免某一环节防护薄弱导致的安全短板。

阿里云日志服务

阿里云的日志服务（log service）是针对日志类数据的一站式服务，无需开发就能快捷完成海量日志数据的采集、消费、投递以及查询分析等功能，提升运维、运营效率。日志服务主要包括 实时采集与消费、数据投递、查询与实时分析 等功能，适用于从实时监控到数据仓库的各种开发、运维、运营与安全场景：

目前，阿里云WAF与日志服务打通，对外开发Web访问与攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

发布地域

适用客户

功能优势

反爬日志实时查询分析服务具有以下功能优势：

开通前提

限制说明

反爬管理所存储的日志库属于专属的日志库，有如下限制：

使用场景

1.追踪机器人爬取与封禁日志，溯源安全威胁：

查看Top 100的爬取机器人列表:

2. 实时正常可信Web请求活动，洞察状态与趋势：

查看PV/UV访问趋势的SQL:

3. 快速了解安全运营效率，即时反馈处理：

查看有效请求与拦截率趋势的SQL:

4. 输出安全网络日志到自建数据与计算中心

进一步参考

我们会陆续发布WAF安全日志分析的最佳时间, 这里可以进一步参考相关用户手册：

网站做得好坏除了主观的使用者体验外，还包含许多客观要素，像是搜寻引擎表现、载入时间、网页元素、社群要素等关键。以前我们大多只能从工程师、网页设计师口中得知片段的消息，现在有个实用的工具可以量化你的网页成绩，并协助你加以改善，那就是awoo SEO Tool的球来就打服务。

6大手机官网实战

先前有提到网站好坏不只有主观的使用体验，还包含搜寻引擎友好度、搜寻体验、内容、内容传播等层面。过往我们很难有个网页设计的量化标准，但透过awoo SEO Tool让我们有个标准可以依循，并检视自家的网页是否有缺失需要弥补。但若是介绍生硬的SEO跟网页知识，大家应该会觉得很无聊。这次我们先试着把Apple、Asus、HTC、Samsung、Sony、MI做为测试对象，并搭配他们的品牌做为关键字搜寻，看看各家的网页谁做得比较好。

球来就打分析服务：awoo/poa

awoo提供多种网路分析工具，其中球来就打是针对网站的SEO而设计，可找出网站在搜寻引擎、社群操作上的缺陷。

Apple：77分，前10%

从字母排列顺序来测试，第一个是苹果官网，先前就曾听闻苹果的网页SEO效果做得很好，同时也是这次所有测试网页中，表现最好的网页设计。其中在跟SEO关联性最高的搜寻引擎友好度中拿下85%的好成绩。仅有在结构化资料标记、HTML5语意标签没设置妥当，其余都拿下满分。至于苹果官网表现比较差的是内容品质项目，并未设置内容图片文字说明 img alt，以及Google+、FB按钮，因而被扣了些许分数。

苹果官网的表现是这次所有测试网页中，表现最好的页面。即使是多数网页容易忽略的标签等设置，全都设计到位。

所有网页问题中，只有出现2个重大的网页问题。

点选缺失项目后，可显示该项目的简介与可改善的方式。结构化资料标记是指网页的阶层关系，可让搜寻引擎快速理解，有助于SEO表现。

苹果没有设置img alt，这使得它在图片搜寻的表现上可能会有所损失。

Asus：55分，后25%

第二个测试的是华硕官网，华硕官网的网页设计、SEO表现上算是这次测试的后段班。取得分数较高的是使用者体验的部分拿下73%，表现较差的则是内容传播力的部分。从待解决问题来看，分数较低有几个关键像是内部连结过多，总数高达229个。并无设置结构化资料标记、无设置大标题h1等，尤其在内容传播的部分，没有设置任何FB OG，这会将低Facebook文章散播的效益，对于以Facebook为行销主力的台湾而言，会是个致命伤。

华硕官网表现总分只有55分，在内容传播力方面的表现较差，是总分较低的关键。

网页出现的问题中有6项重大缺失，以及多项中等与低等的问题有待改进。

华硕没有正确设置FB OG，这可能造成贴文上Facebook时，缩图、标题、导言与你想要呈现的结果有所偏差。

这次评测的多数网站都未设置结构化资料标记，此外，对内连结过多或过少都不好，建议少于200个较佳。

HTC：64分，后50%

HTC的网页表现大致上就是一般网页水准，各评分项目的评分约莫都在60%左右，其中最高分是使用者体验的部分，最低则是内容品质的选项。其中HTC在首页未设置h1等标题层级，这会降低SEO的效果，可能会导致搜寻引擎爬虫在阅读文章时的障碍，无法区分文字的重要性，进而降低该网页的搜寻排序。比较值得注意的是，许多网站都有设置FB OG，但往往容易设置不全导致无法让Facebook完全了解你网页元素的意义。

HTC表现则是中段班，表现相当平均。

分析出来的网页问题中，有5个属于高度问题。

现在不少网页都会投入新技术或是大量图片，造成的问题就是开启速度变慢。

标题是让搜寻引擎机器人得知文章结构与内容的方式之一，设置完善的标题标签，有助于SEO表现。

Samsung：68分，前50%

三星在网页设计的表现相当不错，在网站中可排名前50%。平均分数也都很高，仅有在内容品质方面表现较差，仅拿下52%。比较特别的是Samsung在该页面中有设定h1主标题却没设定h2次标题，另外，HTML5语意标签部分则缺少部分设定，像是aside、article、address，但这可能是跟网页版型有关。最后，网站速度也是使用者体验的一部分，载入快慢影响到阅读的体验，三星官网载入约6.4秒，以awoo SEO Tool给予的建议是太慢了。

三星官网的综合表现是这次测试的前段班，除了内容品质项目外，其余都有水准之上的表现。

较重大的问题有出现4个，大多是一般网站常发生的问题。

原始码太大会拖累网站速度，此时就要透过外嵌的方式减少HTML文本的大小。

HTML5标签是很重要的SEO关键，有助于机器人了解你的网站架构。

Sony：62分，后50%

Sony官网是满特殊的案例，它的表现高低落差很大，在搜寻体验、使用者体验表现都十分出色，但内容品质等方面就相对薄弱。此外，对于搜寻引擎的爬虫来说，是否提供sitemap十分重要，Sony没有提供sitemap很可能会降低网页被收录的时间，降低用户搜寻的排序等表现。Sony官网没有设定HTML5标签，透过HTML5标签能直接告诉搜寻引擎页面内容结构，若没设定对于SEO来说是个致命的缺点。

Sony官网表现在中段班，比较特别的是，该网页的Sony关键字排名并非列在搜寻的第一位，可能是因Sony有众多产品官网的缘故。

4个比较重要的问题，但中度问题数量不少，其中有关sitemap设置的问题也需要优先处理。

sitemap是给搜寻引擎机器人了解的地图，有了地图它才能更有效率地爬文与收录网页。

HTML5标签则是让搜寻引擎了解你的网页结构，也有助于网站的SEO表现。

MI：58分，后25%

最后是小米官网，以表现来说与华硕相差不多，排名约在后25%左右。小米在使用者体验上表现较高，但搜寻体验、内容传播力上就显得较为贫弱。像是FB OG虽然有设定title选项，但没有设定其他项目，很有可能在转贴到Facebook后系统自动抓取的内容，与你要呈现的结果不尽然相同，最重要的像是图片，若未设定会抓取该页面首图，万一首图不是该页面的重点，那么就可能影响社群传播的表现。

小米表现则是这次的后段班，在搜寻体验与内容传播力上比较薄弱。

有4个重要问题需要解决，另外中度问题也有不少。

网页描述常常被部落客忽略，这其实是人们会不会点进网页的关键之一。

即便是很少用到的404页面也有列在评测中，好的404页面可以再带你回正确的网页，而不是放你离开。

网站共同缺点：速度慢、标签未设置

从6家手机厂商的官网首页横向分析，可以看到最容易忽略的是HTML5的标签，不少网页都设定不全甚至没有设定，这对SEO而言是个致命的弱点。另外在社群方面，FB OG设置与否也是关键，但往往是网页设计时容易忽略的细节。

此外，依照测试的结果，多数网站都还是需要6秒以上的存取时间，对于速度更慢的手机可能需要更长的存取时间，这会降低使用者对于网页的印象。通常可以透过精简架构、外连、压缩图片等手段，让存取速度变快。

总结来说，搜寻引擎、网页技术一直在改变，永远不会有完美的一天，因此时时刻刻检视自己的网站有其必要性。不论是在SEO、社群推广，甚至是使用者体验上，透过工具辅助可以让你事半功倍。过往艰深的SEO知识，在透过awoo SEO Tool的球来就打分析后，即便是仅具基本知识的菜鸟部落客，也能学会修正错误让自己的网站更好。

你或许会喜欢

电信业者推出月租498，一年短约4G限速上网吃到饱

热门话题：电信携码怎么挑

微商是一种社会化移动社交电商模式。它是企业或者个人基于社会化媒体开店的新型电商，主要分为两种：基于微信公众号的微商成为 B2C微商，基于朋友圈开店的成为C2C微商。

微商B2C环节：由货物供应者（包括厂商、供应商、品牌商）提供一个微信上搭建的统一移动商城直接面对消费者，负责产品的管理、发货与产品售后服务。

微商C2C环节：微商C2C环节是由微商个人端实现商品的社交分享、熟人推荐与朋友圈展示等。

商人即是进行买卖交易的人，生活中不乏商品或服务的交易买卖，无论是大到企业小到个人，人们生活的各种变化几乎都和交易买卖有着密不可分的关联，即使打工也是在出售智慧和劳动，所以交易无处不在，买卖行为时刻发生在我们每一个人身上。微商就是商人的最基本元素，从广义上讲，无论一个人、商店或者企业等都是微商，由众多微商组成的庞大群体就形成了微商群。

起源

微商是由著名策划人、中国首席微商教练闻华舰先生率先提出并倡导的新型概念。微商的主要特点是在市场运作中需要非常规手段以小搏大，以创意引爆市场。

特点

微商特质：

1、 从事微小型商业活动的个体或团队；

2、 利用微博等新媒介从事商业活动的个体或团队；

3、 相对小型的商业项目或合作项目；

4、 微、小型企业主。

做微商的两个必须

必须定位

“要有自己的定位”。不要把自己的店铺搞成大杂铺，又有护肤品又有衣服的，这样会显得很不专业，会不信任你，就像你去逛街你是不是更愿意在护肤品店买护肤品，在衣服店买衣服，而不是在衣服店买护肤品。

必须创新

“一个没有创新能力的民族，难以屹立于世界先进民族之林。”我们要想在微商时代里脱颖而出，那就必须创新。创新的模式，创新的玩法，才会吸引更多人的关注。

微商就是为了销售自己的产品，但互联网上是不缺产品的，缺的是能够销售产品的人。SEO就是一种获取到大量精准流量的技术，是微商开辟互联网销售渠道的利器。现在网上关于这方面的教程有很多，但很多都是过时的，因为互联网是在不断的变化的，为了避免让大家学到错误的过时的知识，联合互联网上的牛人，组建了一个群，微商的开始是五四一二，微商的中央是14，把它们串联起来，微商的后面再加上五一五就可以了。如果希望做一个伟大的微商可以加入进来，如果看看热闹就不必了。

---