SemrushBot这种爬虫来抓取是好事吗

不是好事。

SemrushBot分析你站点，收集你站点信息的，可用于竞争对手分析数据，当然要屏蔽这些bot，不然被竞争对手反向查一下，内裤都掉出来了，关键还是个国外的软件，可以说这东西完全没用。

用爬虫框架Scrapy， 三步

定义item类

开发spider类

开发pipeline

如果你想要更透的信息，你可以参考《疯狂python讲义》

很简单，2-3 个月我就学会了，用一个专门的爬虫框架，就3个步骤，核心是第二步：

定义item类

开发spider类

开发pipeline

详细内容可看《疯狂Python讲义》

---