以下资料作为参考：
DNS轮循
首先介绍一个DNS系统:传统的DNS解析都是一个域名对应一个IP地址,但是通过DNS轮循技术(负载平衡技术)可以做到一个域名对应到多个IP 上. 这样大家难免就会问,这个技术有什么用呢?
DNS轮循是指将相同的域名解释到不同的IP，随机使用其中某台主机的技术,该项技术可以智能的调整网站的访问量到不同服务器上，减轻网站服务器的压力，实现负载匀衡如果您感觉到单一的主机已经不堪负载你网站日益增长的访问，那么建议您采用我们的DNS轮循技术。
DNS轮循系统可以根据您的需求设置N台主机作为WEB服务器。目前已有越来多大型的WEB服务器使用DNS轮循来实现负载均衡，服务的分布规划更便捷，扩展性更好，从而提高了网站的稳定性和访问效率，那些大量数据文件请求的客户也得到了更快的响应。
DNS轮循还将给您的网站提供这样的改进，诸如您的网站的数据使用量一直处于不断的增长当中，当达到服务器资源运行瓶颈的情况
下，由于采用了DNS轮循技术，您只需要增加服务器数量就可以平滑升级，而且偶然故障或其他意外情况造成的损失得以避免，7×24小时可靠性的持续的运行
成为可能。
如果您真的希望自己的网站能够一直稳定的在线运行，尽量的减少宕机的比率，那么除了采用比较好的网站空间技术支持之外，还可以采用时代互联域名的DNS轮循功能来实现网站的永久在线负载平衡
负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其
他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。均衡负载
能够平均分配客户请求到服务器列阵，籍此提供快速获取重要数据，解决大量并发访问服务问题。这种群集技术可以用最少的投资获得接近于大型主机的性能。
网络负载均衡的优点
第一，网络负载均衡能将传入的请求传播到多达32台服务器上，即可以使用最多32台服务器共同分担对外的网络请求服务。网络负载均衡技术保证即使是在负载很重的情况下，服务器也能做出快速响应
第二，网络负载均衡对外只需提供一个IP地址(或域名)
第三，当网络负载均衡中的一台或几台服务器不可用时，服务不会中断。网络负载均衡自动检测到服务器不可用时，能够迅速在剩余的
服务器中重新指派客户机通讯。这项保护措施能够帮助你为关键的业务程序提供不中断的服务，并可以根据网络访问量的增加来相应地增加网络负载均衡服务器的数
量
第四，网络负载均衡可在普通的计算机上实现。
网络负载均衡的实现过程
在Windows Server 2003中，网络负载均衡的应用程序包括Internet信息服务(IIS)、ISA
Server 2000防火墙与代理服务器、VPN虚拟专用网、终端服务器、Windows Media
Services(Windows视频点播、视频广播)等服务。同时，网络负载均衡有助于改善服务器的性能和可伸缩性，以满足不断增长的基于
Internet客户端的需求。
网络负载均衡可以让客户端用一个逻辑Internet名称和虚拟IP地址(又称群集IP地址)访问群集，同时保留每台计算机各自的名称。下面，我们将在两台安装Windows Server 2003的普通计算机上，介绍网络负载均衡的实现及应用。
这两台计算机中，一台计算机名称为A，IP地址为192.168.0.7另一台名为B，IP地址为192.168.0.8。
规划网络负载均衡专用虚拟IP地址为192.168.0.9。当正式应用时，客户机只需要使用IP地址192.168.0.9来访问服务器，网络服务均衡
会根据每台服务器的负载情况自动选择192.168.0.7或者192.168.0.8对外提供服务。具体实现过程如下：
在实现网络负载均衡的每一台计算机上，只能安装TCP/IP协议，不要安装任何其他的协议(如IPX协议或者NetBEUI协议)，这可以从“网络连接属性”中查看。
第一步，分别以管理员身份登录A机和B机，打开两台机的“本地连接”属性界面，勾选“此连接使用下列项目”中的“负载均衡”项并进入“属性”对话框，将IP地址都设为192.168.0.9(即负载均衡专用IP)，将子网掩码设置为255.255.255.0
第二步，分别进入A机和B机的“Internet协议(TCP/IP)”属性设置界面，点击“高级”按钮后，在弹出的“高级TCP/IP设置”界面中添加IP地址192.168.0.9和子网掩码设置为255.255.255.0。
第三步，退出两台计算机的“本地连接属性”窗口，耐心等一会儿让系统完成设置。
以后，如果这两台服务器不能满足需求，可以按以上步骤添加第三台、第四台计算机到网络负载均衡系统中以满足要求。
八爪鱼数据采集器的内置功能比较多，一时半会难以说完，只能根据你 的实际使用需求来，能满足你的需求就够了，其他的功能对于你来说就都是多余的，但是你慢慢研究你会发现他有多强大，简直无所不能！处处给你惊喜。下面我简单说一下：
1 入门词汇介绍
1.1.1 积分
积
分是用来支付八爪鱼增值服务的一种方式，主要的用途包括：通过八爪鱼采集器采集并导出数据，在规则市场下载规则，在数据市场下载数据包，不同的账号类型在
使用上述增值服务时会有不同的收费策略，具体的收费策略和区别在下面版本说明里面有详细的解释。积分可以通过八爪鱼官方购买专业版或者旗舰版每月赠送，也
可以单独购买积分，还可以通过关注，签到，分享规则，关注微信，绑定社交账号等多种方式获得。
1.1.2 规则
规则是八爪鱼用来配置程序按照人工操作流程记录的一条程序规则，当软件配置好的则的时候，则可以按照您所配置的规则进行数据的采集，代替人工步骤。
1.1.3 云加速
八爪鱼系统是通过分布式集群部署的方式，每个集群由数量庞大的云节点组成，单个节点的采集能力相当于一台PC机的采集能力，通过八爪鱼后台的版本资源分配策略，分配到多少个云节点资源就享有几倍的加速，版本高的账户有更高的加加速倍数。
1.1.4 云优先
如果是多用户共享一个云集群的资源，一个集群的规模大小是有上限的，如果同一时间提交云集群任务过多，造成资源拥堵，那么根据用户账号版本的不同，八爪鱼系统会进行默认排序，版本高的，优先级高，将有优先获得资源分配的权益。暂时未分配到资源的任务将进行排队轮候。
1.1.5 URL
URL指正常网站的网址。
1.1.6 单机采集
单机采集是指不占用云集群的资源，只能通过八爪鱼客户端所在的PC进行工作，在工作期间，需要电脑和软件都处于运行状态，电源中断或者网路中断都会导致数据采集任务的中断
1.1.7 云采集
云
采集是指通过使用八爪鱼提供的服务器集群进行工作，该集群是7*24小时的工作状态，在客户端将任务设置完成并提交到云服务执行进行云采集之后，可以关闭
软件，关闭电脑进行脱机采集，真正的实现无人值守。除此之外云采集通过云服务器集群的分布式部署方式，多节点同时进行作业，可以提高采集效率，并且可以高
效的避开各种网站的IP封锁策略。
1.1.8 定时采集
定时采集指的是用户在设定好八爪鱼的采集规则时，定时的启动 采集程序。
1.1.9 URL循环
URL循环是指设定八爪鱼在制定的URL网址里面循环采集。
1.1.10 自动导出
自动导出是指用户在设定好导出.
1.1.11 Cookie
1）
Cookie诞生
当某个用户打开浏览器发出页面请求时，web服务器只是进行简单相应，然后就关闭与该用户的连接。所以当用户每发起一个打开网页请求到web服务器的时
候，无论是否是第一次打开同一个网页，web服务器都会把这个请求当作第一次来对待，那这样的缺陷可想而知，比如每次打开登录页面的时候都需要输入用户
名、密码。为了弥补这个缺陷，Cookie应运而生。
2） Cookie概述
Cookie就是服务器暂时存放在你计算机上的一笔资料，好让服务器来辨认你的计算机。当你在浏览网站的时候，web服务器会先送出小小资料放在你的计算
机上，cookie会帮你在网站上所打的文字（如用户名、密码）和其他一些操作都记录下来。当下次你再打开同一个网站。web服务器会先看看有没有它上次
留下的cookie资料，有的话就会依据cookie的内容来判断使用者，送出特定的网页内容给你。
3） Cookie工作原理
1.1.12 XPATH
XPATH:是一种路径查询语言，简单的说就是利用一个路径表达式找到我们需要的数据位置。
XPATH专用于XML中沿着路径查找数据用的，但是八爪鱼采集器内部有一套针对HTML的XPATH引擎，使得直接用XPATH就能精准的查找定位网页里面的数据。
1.1.13 HTML
1）
HTML概念
HTML:超文本标记语言，是用来描述网页的一种语言。主要用于控制数据的显示和外观。HTML文档也被称为网页。
2） HTML结构
完整的HTML文件至少包括<HTML>标签、<HEAD>标签、<TITLE>标签和<BODY>标
签，并且这些标签都是成对出现的，开头标签为<>，结束标签为</>，在这两个标签之间添加内容。通过这些标签中的相关属性可以
设置页面的背景色、背景图像等。
2 八爪鱼基本流程教程
2.1 打开网页
该步骤根据设定的网址打开网页，一般为网页采集流程的第一个步骤，用来打开指定的网站或者网页。如果有多个类似的网址需要分别打开执行同样的采集流程，则应该放置在循环的内部，并作为第一个子步骤。
1） 网页地址
网址，一般可以从网页浏览器如IE等的地址栏中复制得到，如:http://www.skieer.com
2） 使用当前循环项
配合循环骤来使用，用以重复打开多个类似的网页，然后执行同样的一套流程，循环打开网页时，应为作为循环步骤的第一个子步骤。 如果勾选此项，则无需手动设置网页地址，网页地址会自动显示循环设定的网址列表的当前循环项。
3） 阻止弹出窗口
用以屏蔽网页弹窗广告，如果打开的网页偶尔会变成另外一个广告页面，则可以使用本选项阻止广告页面弹出。
4） 超时
在网页加载完成前等待的最大时间，如果网页打开缓慢，或者长时间无法打开，则流程最多等待超时指定的时间，之后无论网页是否加载完成，都直接执行下一步骤，应尽量避免设置过长的超时时间，因为这会影响采集速度。
5） 滚动到底部
个别网页在打开网页后并没有显示所有数据，需要滚动鼠标滚轮或者拖动页面滚动条到底部，才会加载没有显示的数据，使用此选项在页面加载完成后滚动到底部
6） 激活重试
如果网页没有按照成功打开预期页面，例如显示服务器错误（500），访问频率太快等，或者跳转到其他正常执行不应该出现的页面，可以使用本选项进行重试，但必须配合以下几个重试参数执行，请注意以下几种判断的情况任意一种出现都会导致重试。
7） 结果页面网址包含
如果出现的页面网址中总是出现某个特殊的字符串，例如网页找不到时一般会出现500.htm等，则使用此选项可以判断没有打开预期页面，需要重试
8） 结果页面文本包含
如果出现的页面文字中中总是出现某个特殊的字符串，例如"访问频率太快"，则使用此选项可以判断没有打开预期页面，需要重试
9） 结果页面文本不包含
如果正常打开网页一定会出现某个特殊的字符串，但没有正常打开的时候一定不会出现该字符串，则可以据此判断判断没有打开预期页面，需要重试
10） 最大重试次数
为了避免无限制重复尝试，请示用本选项限制最大重复尝试的次数，如果重试到达最大允许的次数，任然没有成功，则流程将停止重试，继续执行下一步骤
11） 重试间隔
在两次重试之间等待的时间，一般情况下，当打开网页出错时，立即重试很有可能是同样的错误，适当等待则可能成功打开预期网页，但应该尽量避免设置过长的等待时间，因为这会影响采集速度
2.2 点击元素
该步骤对网页上指定的元素执行鼠标左键单击动作，比如点击按钮，点击超链接等。
1） 使用当前循环项
配
合循环步骤来使用，用以重复点击循环中设置的多个元素，适用于循环单个固定元素，循环固定元素列表，循环可变元素列表。
如果勾选此项，则无需设置点击的元素，要点击的元素会自动显示循环设定的当前循环项，使用该选项时，应当作为循环步骤的子步骤，但不必是第一个子元素。
2） 新标签页中打开
如
果点击元素时希望在新的标签页中打开，而不是在当前页打开，请勾选此选项。
一般情况下，在需要循环打开一个页面上的多个超链接时，需要勾选此选项以便保留列表页面，以便点击列表页上的下一个超链接；但是如果是循环点击下一页时，
则不要勾选此选项，以在当前页面打开下一页。
3)滚动到底部
个别网页在加载完成后并没有显示所有数据，需要滚动鼠标滚轮或者拖动页面滚动条到底部，才会加载没有显示的数据，使用此选项在页面加载完成后滚动到底部
4) 异步加载数据
异步加载也叫Ajax，是一种无需重新加载网页就能刷新局部数据的技术，因此流程不能检测到网页加载完成，就不能决定何时该执行下一个步骤， 使用此选项，流程会在等待设定的超时时间后默认数据已经加载完成，从而继续执行后续流程步骤。本选项需要配合异步加载超时使用.
5) 异步加载超时
等待异步加载完成的时间，在点击元素之后，流程会开始计时，超时时间到达后，执行下一个流程步骤。本选项需要配合异步加载使用，通常使用本选项时，不能勾选“新标签页中打开”
6)激活重试
如果网页没有按照成功打开预期页面，例如显示服务器错误（500），访问频率太快等，或者跳转到其他正常执行不应该出现的页面，可以使用本选项进行重试，但必须配合以下几个重试参数执行，请注意以下几种判断的情况任意一种出现都会导致重试。
7)结果页面网址包含
如果出现的页面网址中总是出现某个特殊的字符串，例如网页找不到时一般会出现500.htm等，则使用此选项可以判断没有打开预期页面，需要重试
8) 结果页面文本包含
如果出现的页面文字中中总是出现某个特殊的字符串，例如"访问频率太快"，则使用此选项可以判断没有打开预期页面，需要重试
9) 结果页面文本不包含
如果正常打开网页一定会出现某个特殊的字符串，但没有正常打开的时候一定不会出现该字符串，则可以据此判断判断没有打开预期页面，需要重试
10)最大重试次数
为了避免无限制重复尝试，请示用本选项限制最大重复尝试的次数，如果重试到达最大允许的次数，任然没有成功，则流程将停止重试，继续执行下一步骤
11)重试间隔
在两次重试之间等待的时间，一般情况下，当打开网页出错时，立即重试很有可能是同样的错误，适当等待则可能成功打开预期网页，但应该尽量避免设置过长的等待时间，因为这会影响采集速度
2.3 输入文本
本步骤在输入框中输入指定的文本，例如输入搜索关键词，输入账号等。
将设定的文本输入到网页的某个输入框中，如使用搜索引擎时输入关键字。
2.4 提取数据
本步骤根据提取数据模板的配置，从网页中提取数据，同时还可配置为提取网址，网页标题，或者生成一些数据如当前时间等。
1)抓取模板
本步骤根据提取数据模板的配置，从网页中提取数据，同时还可配置为提取网址，网页标题，或者生成一些数据如当前时间等。
2） 名字
给抓取的数据字段取个别名,如新闻标题,新闻正文
3)提取到的数据
从网页上提取到的数据,将会在本列显示所抓取到的示例
4)描述
对本数据字段的一些描述信息
5）使用当前循环项
配
合循环步骤来使用，用以重复的从循环中设置的多个元素中提取数据，适用于循环单个固定元素，循环固定元素列表，循环可变元素列表。
如果勾选此项，会从循环所设置的元素中根据抓取规则提取出示例数据，使用该选项时，提取数据步骤应当作为循环步骤的子步骤，但不必是第一个子元素。
2.5 循环
1） 本步骤用来重复执行一系列步骤，根据配置不同，支持多种模式。
循环固定单个元素，例如循环点击每一页中的下一页按钮；
2） 循环固定列表，例如循环处理一个页面中指定的多个元素；
3） 循环可变列表，当需要循环处理多个页面，但是每个页面上要处理的元素数量不固定时使用；
4） 循环网址列表，主要用来循环打开一批指定网址的网页，然后执行同样的处理步骤。
1）循环注意事项
1） 元素在IFRAME里
如果循环中设置的元素在IFRAME里，请勾选此项，并在后面的IFAMEXPah中填写IFRAME的XPATH
2） IFAMEXPah
元素所在IFRAME的路径，只有当勾选'元素在IFRAME里'时这个设置才会生效。
3） 固定的一个元素
循环的对一个元素进行特定操作，如循环点击下页，下翻下拉列等，当翻到最后一页或下拉列表已到最后一项时，会自动结束当前循环。
4） 固定的元素列表
逐个的对列表中的元素进行特定操作，如循环点击、从中提取数据、将鼠标悬停在元素上，当所有元素循环完毕时，会自动结束当前循环。
5） 动态元素列表
当元素列表不是固定的，可指定一个动态路径（多个元素都符合此路径，即可以根据此路径定位到多个元素），系统会根据指定路径先找到一个元素列表，然后执行跟‘固定的元素列表’一样的操作。
6） URL列表
配合打开网页操作作用，指定一个URL列表，确保循环里面的打开网页操作的使用当前循环项标识已勾选，以逐个的打开URL列表中的连接。
7） 循环执行次数等于
在执行到指定次数时退出循环
2.6 翻下拉列表
本
步骤用于切换下拉列表
1） 从option顺序/到option顺序
默认为空，代表从下拉列表第一个顺序切换，直到最后一个，但有时需要跳过第一个选项，从第二个或者中间某个位置开始切换下拉列表，
使用这两个选项可以控制切换的起始和结束顺序，例如，假设下拉选项有5个，需要从第2个顺序切换到第4个，则“从option顺序”设置为2，“到
option顺序”设置为4。
2） 跳过值/到值
默认为空，表示按照设定，顺序切换下拉列表，但如果切换中需要跳过某个下拉项，则使用此设置，可以控制跳过的范围，
例如，假设下拉列表有5个选项，值分别是10、11、12、13、14，如果需要跳过12，则设置“跳过值”为12，如果需要跳过12、13，则设置“跳
过值”为12，“到值”设置为“13”。
3） 使用当前循环项
配合循环步骤来使用，用以重复的循环中的指定的下拉列表切换到下一个选项。
4） 异步加载数据
异步加载也叫Ajax，是一种无需重新加载网页就能刷新局部数据的技术，因此流程不能检测到网页加载完成，就不能决定何时该执行下一个步骤，
使用此选项，流程会在等待设定的超时时间后默认数据已经加载完成，从而继续执行后续流程步骤。本选项需要配合异步加载超时使用
5） 异步加载超时
等待异步加载完成的时间，在点击元素之后，流程会开始计时，超时时间到达后，执行下一个流程步骤。本选项需要配合异步加载使用。
6） 激活重试
如果网页没有按照成功打开预期页面，例如显示服务器错误（500），访问频率太快等，或者跳转到其他正常执行不应该出现的页面，可以使用本选项进行重试，
但必须配合以下几个重试参数执行，请注意以下几种判断的情况任意一种出现都会导致重试。
7） 结果页面网址包含
如果出现的页面网址中总是出现某个特殊的字符串，例如网页找不到时一般会出现500.htm等，则使用此选项可以判断没有打开预期页面，需要重试
8） 结果页面文本包含
如果出现的页面文字中中总是出现某个特殊的字符串，例如"访问频率太快"，则使用此选项可以判断没有打开预期页面，需要重试
9） 结果页面文本不包含
如果正常打开网页一定会出现某个特殊的字符串，但没有正常打开的时候一定不会出现该字符串，则可以据此判断判断没有打开预期页面，需要重试
10） 最大重试次数
为了避免无限制重复尝试，请示用本选项限制最大重复尝试的次数，如果重试到达最大允许的次数，任然没有成功，则流程将停止重试，继续执行下一步骤
11） 重试间隔
在两次重试之间等待的时间，一般情况下，当打开网页出错时，立即重试很有可能是同样的错误，适当等待则可能成功打开预期网页，但应该尽量避免设置过长的等
待时间，因为这会影响采集速度
2.7 条件分支
本步骤会从左到右选择第一个符合条件的分支，并执行该分支
1） 总是
不设置任何判定条件，该分支总是符合执行条件
2） 当页面中包含文本
当页面中包含指定文本是，该分支符合执行条件
3） 当页面中包含元素
当页面中包含指定元素时，该分支符合执行条件，配合元素XPATH使用
4） 元素XPATH
判定条件元素的XPATH路径
5） 在IFRAME里
如果判定条件元素在IFRAME里，请勾选此项，并在后面的IFAMEXPah中填写IFRAME的XPATH
6） IFAMEXPah
元素所在IFRAME的路径，只有当勾选'元素在IFRAME里'时这个设置才会生效。
2.8 鼠标悬停
本步骤用于将鼠标悬停在指定元素上。
1) 使用当前循环项
配合循环步骤来使用，用以重复的将将鼠标悬停循环中指定的元素上，然后执行下面的流程。
2) Ajax加载数据
Ajax
也叫异步加载，是一种无需重新加载网页就能刷新局部数据的技术，因此流程不能检测到网页加载完成，就不能决定何时该执行下一个步骤。
很多网页会在鼠标悬停在某些元素上时异步加一些数据，并在页面上显示。使用此选项，流程会在等待设定的超时时间后默认数据已经加载完成，从而继续执行后续
流程步骤。本选 项需要配合异步加载超时使用
3）异步加载超时
等待异步加载完成的时间，在点击元素之后，流程会开始计时，超时时间到达后，执行下一个流程步骤。本选项需要配合异步加载使用。
2.9 如何下载采集规则
为
了避免配置采集规则的重复工作，八爪鱼采集器内置了规则市场，由用户分享配置好的采集规则，互帮互助。
使用规则市场下载规则的好处显而易见，可以不用花费时间研究和配置采集流程。很多网站的采集规则都可以在规则市场中搜索到，下载运行即可采集。
下载规则需要使用八爪鱼采集器，具体操作步骤：打开八爪鱼采集器->采集规则->规则市场。
3.0如何使用规则
1）
使用从规则市场下载的规则
一般从规则市场下载的规则是.otd为后缀的规则文件，4.*以后的版本中会自动导入下载的规则文件。以前的版本中需要手动导入下载的规则文件。
手动导入方式：八爪鱼规则文件（.OTD）直接双击即可打开导入向导，或者打开八爪鱼采集器, 快速开始 ->
导入规则，然后按照向导提示导入规则。 但有时候会下载到.zip为后缀的压缩文件，压缩文件解压后包含多个.otd规则文件，需要先解压，然后导入。
2） 使用接收到的规则
使用邮件或者其他即时通讯软件接受到的规则，可以参考上一节说明，手动导入。
Step1：用户在地址栏输入一个网址，然后点击回车键；Step2：浏览器与服务器建立TCP连接；
Step3：浏览器将用户的事件按照HTTP协议要求的格式打包成数据包，这个过程的本质就是在待发送缓冲区中有这一段HTTP协议格式的字节流；
Step4：浏览器确认服务器可写，将该数据包推入Internet中，最终，该包被递交到服务端；
Step5：服务器在接收到该数据包后，以同样的格式进行解析，获取客户端的意图；
Step6：在获取了客户端的意图之后，服务器进行分类处理，或是提供某一文件，或是处理相关数据；
Step7：将处理结果装入缓冲区，或者文档，或是其他内容；
Step8：服务器将按照HTTP协议格式，将Step7中的数据进行打包；
Step9：服务器确定对端可写，将数据包推入Internet，该包经过网络处理，最终返回至客户端；
Step10：客户端拿到包之后，以HTTP协议格式进行解包，然后解析数据；
Step11：客户端处理相关数据，并且展示在页面之上。
以上这11步，就是web服务器最基本的工作原理。通过梳理，我们不难发现，这就是一个简单的网络通信过程。换句话说，就是一个简单的发送数据、接受数据、处理数据的过程。更高级的web服务器，无非也就是将上述的三个基础内容划分得更加详细一点而已。
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）