seo移动端主要爬虫有哪些

seo移动端搜索爬虫有很多，主要有以下几个：

百度蜘蛛，360蜘蛛，Google机器人，搜狗蜘蛛，神马搜索蜘蛛，头条搜索蜘蛛爬虫等；

海外的主要有Google机器人和bing搜索蜘蛛，还有就是各个国家有各自的搜索引擎，每个搜索引擎都有自己的制作爬虫来抓取网页信息。

搜索引擎蜘蛛爬虫

关于这个问题yyseoer顾问表示：

抓取是搜索引擎蜘蛛从待抓地址库中提取要抓的URL，浏览这个URL，把读取的HTML代码存进数据表。蛛蛛的爬取就是说像游览器相同开启这一网页页面，和客户电脑浏览器浏览相同，也会在网络服务器最原始日记中留下来记录查询。

VBA网抓常用方法1、xmlhttp/winhttp法：用xmlhttp/winhttp模拟向服务器发送请求，接收服务器返回的数据。优点：效率高，基本无兼容性问题。缺点：需要借助如fiddler的工具来模拟http请求。2、IE/webbrowser法：创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。上传文件在IE里根本无法实现。3、QueryTables法：因为它是excel自带，所以勉强也算是一种方法。其实此法和xmlhttp类似，也是GET或POST方式发送请求，然后得到服务器的response返回到单元格内。优点：excel自带，可以通过录制宏得到代码，处理table很方便。代码简短，适合快速获取一些存在于源代码的table里的数据。缺点：无法模拟referer等发包头也可以利用采集工具进行采集网页端的数据，无需写代码。

---