sem的模型介绍

SEM简单介绍，以下资料来源

因果关系：SEM一般用于建立因果关系模型，但是本身却并不能阐明模型的因果关系。

一般应用于：测量错误、错漏的数据、中介模型（mediation model）、差异分析。

历史：SEM 包括了 回归分析，路径分析（wright, 1921）,验证性因子分析（confirmatory factor analysis）（Joreskog, 1969）.

SEM也被称为 协方差结构模型（covariance structure modelling），协方差结构分析和因果模型。

因果关系：

究竟哪一个是“真的”？ 在被假设的因果变量中其实有一个完整的因果链。

举一个简单的例子： 吃糖果导致蛀牙。这里涉及2个变量，“吃糖果”和“蛀牙”，前者是因，后者是果。 如果上一个因果关系成立，那将会形成一个因果机制，也许会出现这样的结构：

3. 这时还有可能出现更多的潜在变量：

这里我又举另外一个例子，回归模型

在这里，回归模型并不能很好的描述出因果次序，而且也不能轻易的识别因果次序或者未测量的因子。这也是为什么在国外学术界SEM如此流行的原因。

我们在举另外一个例子“路径分析”

路径分析能让我们用于条件模型（conditional relationships），上图中的模型是一种调解型模型或者中介模型，在这里Z 是作为一个中介调节者同时调节X和Y这两个变量的关系。

在这里我们总结一下：

回归分析简单的说就是：X真的影响Y 吗？

路径分析：为什么/如何 X 会影响Y？ 是通过其他潜在变量Z 来达到的吗？例子：刷牙（X）减少蛀牙（Y）通过减少细菌的方法（Z）。------测量和测试中介变量（例如上图中的Z变量）可以帮助评估因果假设。

在这里要提一下因素模型（factor model）

在这个模型当中，各个变量有可能由于受到未被观察到的变量所影响，变得相互有内在的联系，一般来说那些变量都很复杂、混乱，而且很多变量是不能直接被观察到的。

举个例子：“保龄球俱乐部的会员卡”和“本地报纸阅读”，是被观察到的变量，而“社会资产”则是未被观察到的变量。另一个例子：“房屋立法”和“异族通婚”是被观察到的变量，而“种族偏见”是未被观察到的变量。

相互关系并不完全由被观察到的变量的因果关系所导致，而是由于那些潜在的变量而导致。

这些被观察到变量（y1--y4）也有可能由一个潜在的变量（F）所影响。

SEM已成为互联网市场主流的营销模式，其中搜索推广也是目前B2C企业最受欢迎最广泛的营销手段。随着搜索引擎市场变化及需求，百度搜索，360搜索，搜狗搜索等运营商逐渐完善投放系统，根据广告主的需求，针对各个重要环节角度出发，提供了衡量投放关键词效果的重要数据指标。然而，目前大多数B2C企业在初尝试SEM关键词投放时，往往仅仅关注“展现量，点击量”等最为基础的指标来衡量。鉴于现状，投放系统针对性提炼出了9个重要指标，而如何利用这些关键性指标来提高转化效果才是关键。

1、关键词有效率

何为关键词有效率，即有展现的关键词数量/账户有效关键词数量。关键词有效率，这个指标直接关系到账户内的关键词质量。若想要提高关键词有效率，必须从这两方面出发。对于B2C企业而言，数以万计的SKU，如何提高关键词有效率?我们可以根据企业商品的销售量以及知名度针对性进行拓词创建，提高关键词的展现几率，同时结合创意关键词匹配模式，多运用广泛匹配，短语匹配，精准匹配。尤其可以加强短语匹配，短语匹配细分三种匹配模式，精准性不断提高的同时也不会大大降低展现量，对关键词有效率提高有极大帮助。

另外结合大数据平台数据参考，目前平台电商的关键词有效率保持在15%左右，而作为知名垂直品牌电商则保持在30%以上，基于这样的数据作为对照参考，可自我进行评估，自身B2C企业的关键词有效率是否处于正常水平，且水平具体是多少。

2、点击成本

作为一个B2C企业，投放SEM过程中会拓展成千上万的关键词，控制点击成本直接较大影响到后续的投入产出比，他是众多成本指标中最为基础，但也最为重要的一个，如果该上游没有控制得当，那么直接回影响到下游的转化能力。

据目前互联网市场行情而言，关键词的点击成本逐年增加，其源头是B2C企业越来越重视SEM投放，导致竞争越来越激烈。虽然目前点击成本在增加，但是依然搜索市场可观，且点击成本也最容易进行优化调整。调整点击成本策略重要方向是：

A、针对仅宽泛流量型关键词降低出价，甚至可以删除关键词。另外对于出现的不相关关键词，可阶段性进行否词，防止出现无效点击。

B、若针对重点关键词排名时，可以先进行保守出价，再根据需要进行逐步调整排名。反则，关键词出价居高不下，很难调整到以往点击单价。

C、根据转化率：品牌词>竞品词>通用词>产品词>活动词，这类递减层级进行出价策略，这样可有效的控制点击成本。

3、订单转化率

订单转化率，即订单量/点击量，对于B2C企业而言，最终的转化落地是订单量。订单转化率越高，则表示该企业网站运营能力越强。想要提高订单转化率，首先我们可以从反面进行思考：用户为什么不订单?

A、据有关数据显示，50%以上的用户表示过长的网页加载速度是他们放弃购物的主要原因之一。由此可见，作为B2C电商网站而言，首要任务是提高网页加载速度，PC和移动端提高是当务之急。

B、有50%人表示由于找不到想要的商品而放弃此次购物行为。找不到想要的商品，除了需要做好关键词精准之外，还需要做好站内导航功能，导航是能够引导用户行为的工具，切不可掉以轻心。

C、购物的步骤太多，数据显示有40%的人会放弃。购物过程中若涉及到表单栏目，尽量简化设置，降低用户购物环节，提供更多的支付接口等。

当然，这里仅仅是SEM关键词投放过程中最为重要的3个指标，在未来的SEM投放过程中，精细化管理以及数据分析非常重要，需要针对关键词投放过程中各个指标进行分析，逐一进行调整以及优化才能够使最终的转化效果提高，最终获得理想的ROI数据。

1997年9月，创业狂人Bill Gross创立了搜索引擎公司GoTo，后更名为Overture。9个月后，Overture开始 在搜索结果页面上呈现商业广告 ，广告主只在搜索引擎用户点击其广告的时候才需要向Overture付费，因此这种广告形式被称为 Pay-Per-Click 。隔年，Overture在NASDAQ成功上市；2003年，被雅虎收购。

雅虎最终放弃了自己的搜索业务， 但Overture所创立的商业模式，仍在被当今几乎所有主流搜索引擎使用。 从Google Adwords到百度竞价，它们实现搜索流量变现的基本商业逻辑皆可溯源至Overture。顺便八卦一句，Bill Gross不但自己是个创业狂，还在1996年建立了一间专门孵化创业公司的公司idealab，孵出了一连串金光闪闪的名字。

Pay-Per-Click的出现，称得上是互联网广告乃至整个广告行业的一个里程碑式的变化。广告主不再因为在某个广告位“ 展示 ”了自己的广告而支付费用，而是因为潜在消费者对其广告产生兴趣而进行的“ 点击 ”广告的行为付费。

换句话说， 广告主不再需要为对自己的产品或服务不感兴趣的人支付费用 ，John Wanamaker所提出的广告行业之“哥德巴赫猜想”——“我知道在广告上的投资有一半是无用的，但问题是我不知道是哪一半”——向着解决的方向迈出了关键性的一步。由于这种广告形式密切依存于搜索引擎，因此现在人们一般称它为搜索引擎营销(Search Engine Marketing，简称 SEM )。

在SEM广告出现之后，互联网广告的创新层出不穷，有些主打更加精美华丽的表现形式(如富媒体广告)，有些则致力于更加精准地定位到潜在消费者(如各种RTB广告系统)，但SEM广告仍然是一种非常重要的互联网广告形式，在国内市场上的收入占比接近40%。

SEM在将近20年的发展历程中，有过多次具体实现方式上的演变。这些变化所围绕的一个重要主题是， 当有多个广告主同时购买一个广告的时候，哪个广告主的广告应当排在前面 ？在早期，搜索引擎曾采用过单纯由广告主的出价决定其广告位置的方式。这一排序方法的弊端非常明显：它很容易导致好的广告位甚至是全部广告位都被广告费用支付能力和支付意愿都足够高的广告主所垄断的情况。

这样一来，搜索引擎的广告收入虽然有可能在短期内得到快速增长，但从长期来看，会将支付能力不高或者广告投放策略相对保守的广告主屏蔽在市场之外，从而缩小整个潜在市场的规模；同时，消费者也可能因为无法找到高质量的产品和服务而流失，使得市场规模进一步缩水。因此，各搜索引擎陆续推出了影响排名的权重因素。

权重因素的计算方式和命名随搜索引擎和时间推移而不同。以百度为例，它在2009年首次推出了自己的权重因素，并将其命名为“ 质量度 ”。质量度从低到高有一星至三星三个水平，是百度综合各种因素做出的对于广告质量的评价。2013年，三星分级的质量度被调整为0~10分的质量得分。

当有多个广告主购买同一个广告的时候，搜索引擎对每个广告主按照公式(1)计算出排名指数，然后按照排名指数从高到低排序，排名指数最高的广告主获得第一个广告位，以此类推。

在这一机制下， 权重得分高的广告主可以以更低的价格拿到更好的广告展现位置 ，从而搜索引擎实现了将广告主的竞争焦点从出价转移到提升权重得分上的目的。

权重的具体计算方式只有搜索引擎公司负责商业产品的核心团队了解，但是各公司都会公布可以提升权重的指导性原则，并且这些原则之间有很高的相似性，基本都以提升广告文案的吸引力、积累良好的投放数据等为主。

在决定了广告主的排列顺序之后，搜索引擎还需要决定的另一个重要问题是， 一旦用户点击了某一广告，搜索引擎应向相关的广告主收取多少费用 ？一个直观的选择是，按照广告主的出价收费。但各大搜索引擎多按类似于如下公式(2)的方式确定点击价格。为了便于说明，这里借用了百度对于权重的命名。公式中的“当前排名”与“下一名”均指根据公式(1)计算出来的广告排名。

根据公式(2)，广告主实际支付的价格与自己的出价无关，反而在很大程度上受到排名指数紧随其后的竞争对手出价的制约；不过，结合公式(1)、(2)可以知道，它一定不会高于广告主自己的出价。这意味着，如果某广告主提供的广告质量度相对对手更高，那么他不但能够以较低的价格得到更好的排名，而且实际支付的点击价格还会比自己的出价(广告主愿意为这个广告支付的费用)更低；他在质量度上的相对优势越明显，就能节省越多的广告预算。搜索引擎通过这一机制，实现了 进一步激励广告主提供高质量广告的目的 。

以上就是搜索流量变现的基本商业逻辑，接下来我们简单了解一下，想要在搜索引擎上投放广告的广告主具体需要进行哪些工作。为了说明便利，这部分仍以百度为例，这些内容在各主要搜索引擎上会有诸多细微的差别，但主干部分非常相似。

实现搜索流量的变现需要广告主、搜索引擎和用户三方共同完成，缺一不可。广告主一方，首先要在想投放广告的搜索引擎上开立一个 推广账户 ，并预存一部分费用。

然后他就要做出两个最关键的决策，购买哪些广告以及确定自己愿意为每一个广告支付的费用。

由于用户是通过提交搜索词的方式来使用搜索引擎的，因此广告主购买的广告也是以词为单位的，称为“ 关键词 ”，一个关键词就是一条广告；为了得到更多的展现和点击机会， 关键词应当尽可能贴近用户的提交搜索词的习惯 。

选定了关键词之后，广告主还要为这些广告决定出价、落地页和匹配方式等设置。

出价在之前已有描述，“ 落地页 ”是指用户点击广告后会进入的页面；这个页面来自于广告主的网站，应该与关键词足够匹配，否则用户即使点击了广告也会因为无法取得想要的信息而离开。比如，关键词“英语口语培训价格”对应的落地页，不应只介绍培训班的上课时间。

“ 匹配模式 ”则是在告诉搜索引擎，当用户的搜索词和一个广告主购买的关键词相似度达到什么程度的时候，才考虑展现该广告主的广告；比如在搜索“英语口语培训”时，由于匹配模式的不同，用户有可能会看到“英语口语培训”、“口语培训”、“英语外教”、“全外教教学”等关键词对应的广告。

用户的搜索习惯千差万别，这就决定了一个有效的SEM账户中会包含非常多的关键词。

这些关键词有些彼此含义非常相似，比如品牌的全称和简称、各种型号的同一产品的名称等。为了提高广告的投放效率，搜索引擎要求广告主将关键词按照相似性进行分组；百度要求的分组结构是两层的，相似关键词组成“ 单元 ”、相似单元再合并为“ 计划 ”。

组内的关键词很相似，因此可以为每一组关键词撰写通用的广告语，称为“ 创意 ”；而且组的数量相对于关键词的数量要小得多，创意与组关联使得广告主有精力对其进行精雕细琢，写出高质量的广告语。这是搜索引擎引导广告主提升广告质量的又一个手段。

对于一组关键词，广告主还可以设置它们的 投放时间 (例如只在工作日下午3点到5点投放)和 投放地域 (例如只在一线城市和省会城市投放)；在投放时间之外或投放地域之外进行搜索的用户，无法看到该广告主的广告。

至此，广告主的广告就有可能在搜索引擎上被用户看到和点击了。

图1  投放搜索引擎广告的实现

用户在搜索引擎进行搜索的时候，搜索引擎会先根据搜索词找到所有符合投放条件的关键词广告，按照公式(1)、(2)选择可以被用户看到的广告并计算出它们的点击价格，再将这些广告与非付费内容一起呈现给用户；用户看到广告后，可能会点击其中一部分引发其进一步阅览兴趣的广告，此时搜索引擎按照计算好的点击价格从用户预付的广告费用中扣除掉这次点击对应的费用。

SEM广告相关的基本行为到这里就结束了，搜索引擎会为广告主提供如下表1所示的数据报表以衡量投放效果。

表中的“ 展现 ”指一条关键词广告被呈现在搜索结果页上的次数；“ 点击 ”指用户点击该广告的次数；“ 消费 ”指广告主因这些点击向搜索引擎支付的合计费用；“ 平均排名 ”是关键词各次展现时排名的平均数，因为每个广告主预算以及他们在关键词推广时段等设定上的差异，同一关键词每次展现的排名可能是不同的，所以广告每次展现时的排名虽然是整数，但平均排名则可能是小数。

CPC和CTR是衍生指标：“ CPC ”是cost per click的缩写，通过消费除以点击得到，代表广告主平均为每次点击支付的费用；“ CTR ”是click through rate的缩写，通过点击除以展现得到，表示用户对展现出来的广告表现出兴趣的可能性大小。

搜索引擎一般以天为最细粒度提供数据，除了关键词级别之外，还按照账户级别、计划级别、单元级别、创意级别提供。广告主可以通过这些数据，了解自己的费用投放情况，并且根据它来优化自己的广告投放。比如，对于那些消费和CPC都很高(消耗资源多)、CTR很低(用户兴趣低)、平均排名非常靠前(出价相对于市场总体水平来说偏高)的关键词，可以考虑适当降低它们的出价(减少资源投放)或者尝试修改创意(尝试通过提升广告吸引力来提升质量度)。

表1  搜索引擎向广告主提供的数据报告示例片段

细心的读者可能会发现，在介绍SEM基本商业逻辑的时候，我们描述的是用户每一个步骤的行为，而表1所提供的则是按天对每一个关键词广告进行汇总或平均的结果。

在前面的讨论中，我们曾经提到过，关键词每一次展现的排名、用户是否点击广告、具体扣除的费用都可能随时间变化而不同，我们是否有可能拿到这样更细粒度的数据来对投放做更精细的优化呢？

比如，表1中的广告主，假定他希望平均排名2.5的广告“鲜花速递”一直都能出现在第2个广告位上就好，那么根据表1提供的数据，他还需要继续提高自己的出价，一般来说他为这个广告支付的费用也会随之增加。

但是，如果他进一步知道，这条广告在下午3点到5点之间可以保持在每次展现都在第1名，但在晚上8点至11点却一般排在第3名之后，那么他就可以在下午3~5点适度降低出价、在晚上8~11点适度提高出价，在控制消费量基本不变甚至略有下降的前提下实现提升平均排名的目标。

遗憾的是，搜索引擎一般并不提供这样的数据。

此外，同样是通过点击SEM广告进入广告主网站的搜索引擎用户，他们对于广告主的价值也不一样。

举一个极端的例子，彼此存在竞争关系的广告主也可以通过互相点击对方的广告来达到消耗对手广告预算的目的，这就是所谓的 恶意点击 。

搜索引擎会对其进行过滤，但不能完全防止它的发生。对于一些竞争特别激烈的行业，只要有少数的漏网之鱼就会造成大量的预算浪费(例如在前几年礼品经济还非常盛行的时候，节庆前期应季礼品相关的关键词，其点击价格有时会高达四位数)。

即使不考虑恶意点击之类极端的情况，通过SEM广告进入广告主网站的用户在到达网站后的行为也有差异，有些完成了广告主希望看到的行为(比如进入电商网站后，进行了注册和下单支付)，有些则没有；广告主花费在前者身上的推广费用得到了回报而后者则没有。

由上可知，仅靠搜索引擎提供的表1数据只能对SEM投放进行粗线条的优化。一个补救的方式是，在自己的网站上部署 网站流量监测工具 。

网站流量监测工具会在用户访问广告主网站的时候记录他们的访问轨迹，以及注册、购买等关键行为。

大型搜索引擎为了进一步扩大自己的数据收集能力，一般也会提供免费的网站监测工具供广告主使用，比如google的GA和百度的百度统计。

这些通用型的免费工具比较适用于那些仅仅将互联网作为引入潜在消费者的一种工具、最终的成交和交付行为主要发生在线下、并且由于规模等原因所限暂时无力负担数据技术团队的广告主；比如在医疗美容、教育培训等行业，潜在消费者在网站上的行为终止于留下联系方式，后续的销售、到店、支付、交易、售后等行为都在线下进行。

但是对于电商、第三方支付、互联网金融等几乎所有成交和交付行为都发生在线上的广告主来说，还是应当从一开始就建立自己的技术团队和网站流量监测工具。

表2  网站流量监测工具记录的基本信息

如果广告主进行推广的搜索引擎是百度，还可以在关键词广告的落地页链接上部署百度提供的 URL通配符 参数，以获取更多的推广相关信息。

URL通配符是加在关键词落地页链接后的一串符合特定格式的字符串，能够在用户点击SEM广告进入广告主网站时，传递给广告主用户点击的是哪个关键词广告、当时排名的位置、该关键词的匹配模式等信息。

表2中“访问页面”里问号后面的字符串就是由URL通配符返回的结果，它告诉我们用户进入网站是通过点击了哪个关键词广告(keywordId=xxxxxxx)、这个广告当时展现在第几个广告位(adPosition=xxxx)。

对于不提供类似URL通配符一类服务的搜索引擎，广告主可以在每个落地页链接上自行添加参数标明关键词，但操作起来相对麻烦一些而且一般来说无法获取关键词之外的信息。

网站流量监测工具和URL统配符一起应用，广告主就可以知道广告每一次被点击的时间、大致发生在哪个地方、广告展现在第几个位置等信息；同时访问者编号可以让广告主识别点击了广告的用户是马上离开了网站，还是继续访问了其他页面，以及有没有进行广告主所希望的目标行为(根据广告主业务模式的不同，这个行为也会不同，常见的比如注册、下单、咨询等)。

换句话说，广告主可以知道一个用户通过点击了某个关键词广告进入了自己的网站，结合关键词的CPC，就大致知道了获取这个用户的成本；通过网站流量监测工具，可以知道这个用户后续有没有达成目标行为，这就是用户带来的产出。

投入和产出合并在一起，广告主就可以在用户、关键词广告等各种级别上进行推广的投入产出分析，并通过投入产出分析来对SEM广告投放进行更加精细的优化。

这就是图1中几个红色方框所表述的内容， 它们发生在搜索引擎之外，但却是广告主精准评价自己的SEM广告投放效果所不可或缺的部分 。

举例来说，有了补充数据之后，表1将被扩充为表3。从中可以看到，“鲜花礼品”虽然单价略高，但 ROI (Return>有些时候，广告主希望用户达成的目标行为结果无法以金额来表示，比如，当广告主希望取得更多注册用户时，其目标行为就是完成注册流程、成为注册用户。在这种情况下，表3中最右侧的两列可以被替换成“转化数量”和“CPA”。

“ 转化数量 ”就是用户达成的广告主目标行为的次数，在这个例子里就是新增了多少注册用户；“ CPA ”通过消费除以转化数量得到，表示广告主获得每一个目标行为的平均成本，它是比CPC更好的单位成本衡量指标。

表3   搜索引擎与广告主自行监测数据的合并

总结：

1

本节主要为大家介绍SEM广告的基本商业逻辑，其中的两个关键问题是：

a) 多个广告主购买同一个广告时，谁可以排在前面？

b) 用户点击广告时，搜索引擎会向广告主收取多少费用？

2

SEM在精准衡量广告效果方面，迈出了里程碑式的一步。广告主想要提升自己SEM广告的优化效果，除了使用搜索引擎提供的数据外，最好进一步通过如下方式获取补充数据：

a) 部署网站流量监控工具：有免费工具，也可自行开发；对有技术能力者，推荐后者

b) 在关键词广告落地页链接中添加URL通配符(百度)或自行添加关键词标识(其他搜索引擎)

3

讲解了一些基本术语的含义：

Pay-per-Click、SEM；账户、计划、单元、关键词、创意、落地页、出价、匹配模式、投放地域、投放时间；质量度、排名指数；展现、点击、消费、CPC、CTR、ROI、转化数量、CPA；网站流量监控工具、URL通配符。

练习：

附件中提供了一份模拟的关键词级别SEM推广报表，请根据表中已有的数据计算衍生指标CPC、CTR、ROI，并尝试寻找可能的优化方向。

PS：附件中的计划、单元组织结构参考了常见的关键词分组策略，可供初步接触SEM实务的读者参考。

参考：

1、本文在介绍sem广告时，为便于理解，对其业务逻辑进行了适度地简化。需要了解更详细内容的读者，请查阅各搜索引擎提供的指南

2、关于URL统配符的详细信息，可参考帮助文档。【http://dev2.baidu.com/docs.do?product=2#page=URL_Tag#page=URL_Tag】

3、关于网站流量监测工具及相关的数据分析，可参考网站分析在中国等网站及博客。【http://www.chinawebanalytics.cn/】

4、Bill Gross和John Wanamaker都是富有传奇色彩的人，有兴趣的读者可自行八卦。

注：

本文中使用的所有数据皆在真实数据基础上进行过模糊化处理，保留了实际投放中会遇到的典型数据特征，但不可作为实际投放的参考。

---