前后端分离项目如何做seo

2019-04-16-09:22 于公司

假如面试官问你：前后端分离项目如何做seo？

1、使用prerender，如果说不用prerender，你怎么回答呢？

2、先去 www.baidu.com/robots.txt 找出常见的爬虫，然后在 ngnix 服务器上判断访问者的 User Agent （划重点）是否是爬虫。

如果是：用 ngnix 反向代理到我们自己用 nodejs + puppeteer 实现的爬虫服务器。

知识点：

puppeteer ：谷歌推出，可以理解为无界面版本的 chrome 浏览器，通俗说就是可以在服务端使用浏览器（页面不展示而已）。

实际上是通过调用Chrome DevTools开放的接口与Chrome通信，Chrome DevTools的接口很复杂，但puppeteer对其进行了封装，我们调用起来还是很方便的。

爬虫是否爬行你网站的数据网络是SEO的重要因素，首先让爬虫你的网站，这是SEO最基本的原则；

爬虫爬行：你的网站就有优化的前提；

爬虫不爬行：优化就是多此一举；

seo移动端搜索爬虫有很多，主要有以下几个：

百度蜘蛛，360蜘蛛，Google机器人，搜狗蜘蛛，神马搜索蜘蛛，头条搜索蜘蛛爬虫等；

海外的主要有Google机器人和bing搜索蜘蛛，还有就是各个国家有各自的搜索引擎，每个搜索引擎都有自己的制作爬虫来抓取网页信息。

搜索引擎蜘蛛爬虫

---