怎么利用爬虫技术抓取淘宝搜索页面的产品信息

可以通过requests库re库进行淘宝商品爬虫爬取

import requests

import re

def getHTMLText(url):

try:

r= requests.get(url,timeout=30)

r.raise_for_status()

r.encoding = r.apparent_encoding

return r.text

except:

return ""

def parsePage(ilt,html):

try:

plt = re.findall(r'\"view_price\":\"[\d+\.]*\"',html)

tlt = re.findall(r'\"raw_title\"\:\".*?\"',html)

for i in range(len(plt)):

price = eval(plt[i].split(':')[1])

title = eval(tlt[i].split(':')[1])

ilt.append([price,title])

except:

print("F")

def printGoodsList(ilt):

tplt = "{:4}\t{:8}\t{:16}"

print(tplt.format("序号","价格","商品名称"))

count = 0

for g in ilt:

count = count +1

print(tplt.format(count,g[0],g[1]))

def main():

goods = '书包'

depth = 2

start_url = "https://s.taobao.com/search?q="+ goods

infoList = []

for i in range(depth):

try:

url = start_url +'&s='+str(44*i)

html = getHTMLText(url)

parsePage(infoList,html)

except:

continue

printGoodsList(infoList)

main()

这段代码在过去是可以爬取淘宝商品信息，但是因为淘宝的反扒技术升级，便不能让你大摇大摆地进出自如了。

此外也可以借助采集实现采集

淘宝推广的经典34种方法1．首先你看你的店铺装修了吗?店标/分类/描述/悬浮/音乐/鼠标。别看这些要也行。不要也能过,但其实不是这样的.当一个客户进入你的店铺时,里面什么也没有做过,还是原版的样子,那对客户就没有什么深的印像了,客户也不容易记住你的店名.就算下次再想照顾你的生意,但找不到你了.如果你有一个好看的店标什么的,客户就会记住了.而且修到位,客户看了会觉得你很认真,很专一,所以也就会相信你. 2．提高图片质量： 好的图片往往更能吸引人哦！！！刚开始来淘宝，图片拍的真的很差。但是不断的练，不断的学习，总会有点进步，建议新手多去那些和自己相同的产品的店学习，看看老手们是怎么拍照，布局，背景等。最重要的是可以向论坛中的相关主题学习哦。学习加练习，一定会大有进步的。 3．在产品描述模板中展示更多产品：打开一个宝贝的链接，除了在最下面的6个店铺推荐的宝贝外，店里还链接8 个9 个产品的图片。再加上宝贝的放大图，要非常清晰，很整齐。这样，打开一个产品，可以看到15 个以上其他产品，这样的吸引力肯定比只看到一个产品更大吧！怎样把照片传在宝贝描述里呢：宝贝描述中插入好的图片，可以让自己的宝贝更有吸引力，网页看上去也更专业。 4．注意发布产品的时间： 一般在下午3 点到5 点或晚上8 点到10 点购物的人比较多哦！（根据有关方面统计）如果我有70 件产品，我分7 次发布。周一到周日，每天3 点，发布10 件，这样，在一周后，每天的3 点左右，都会有快下架的产品，由于浏览产品，顾客肯定也会看看店铺其它东东！一周客人都很多多好啊！当然，如果有140 件产品更好， 除了每天3 点发布的那10 件，晚上的时间段也发布10 件，2 个时间段都可以充分利用，所以说，产品还是要足够哦！！！如果有足够的产品，凌晨6 点到次日凌晨2 点每个小时发布一个产品，一周都这样，更效果哦！不要随便把商品上价，要选择最佳时间，因为淘宝的商品是按照商品剩余时间排位的，也就是说，你的商品剩余时间最短，就越排在前面晚上八九点的时候是客流量最大的时候，所以在这个时候把商品上架，相对应的商品快下架的时候就会被很多人看到了。还要注意不要图省事，一次把商品全都上架，要分批量上架，把时间选为7 天每天上架一些，这样你的商品就会每天都被人看到了！我们分批上传同类产品,这样你的商品永远都在第一5．常在论坛中参与讨论以及经验分享：在论坛里发贴，是增加店被浏览的好方法。大家发的帖的内容，都会被收录。因为淘宝首页上直接可以连接到这里，其实在淘宝中，很多卖家也是潜在的买家哦！而且论坛中大家可以相互交流经验，这点非常好！！！在竞争中相互学习，共同发展哦！ 6.交换友情链接：不要小看这个友情链接，它是你开店浏览量来源的一部分。这里做链接也应该注意下，如果别人的链接都有34 个了，你再和别人做链接，你就是排在最下面一位，别人看到的机会当然更小了，而且你也要分析对方的店卖的内容，他的用户群是否会是你潜在的用户？也不要随便去链接，毕竟淘宝现在只给我们提供了35 个位置，嘿嘿。自己的店名也需要做的有特色，这样也会脱颖而出的。如果你有朋友有网站，也要利用起来哟！这个环节也很重要，大家不可忽视！钻石卖家，一般会拒绝，或者说位置已经满了，因为你是无心或少心卖家，对人家的生意不会有什么帮助，可以与新卖家的小店友情链接，流览量也会上涨。不一定只有与钻级卖家链接才会带来浏览量，钻石也是从无心做起的只要对方有信心，有潜力，都有可能迅速成为钻石，所以不要拒绝新卖家的友情链接，如果是同行，或许还会给你带来意想不到的收获噢！ 7．产品的分类： 在淘宝首页有宝贝类目，细心的朋友会发现每一种分类都有几个热门的关键字，瞧瞧自己的是不是很显眼呢？ 8．将店铺参加收录：网站建设完成之后，第一件事情就是向各大搜索引擎提交新网站。搜索引擎提交包括提交给搜索引擎爬虫和提交给分类目录。提交给搜索引擎爬虫的目的是让搜索引擎将网站收录到索引数据库。检验网站是否被搜索引擎收录的办法是直接在搜索引擎中搜索网址，查看能否找到网站结果，也可以通过输入命令site:yoursite 获得具体的页面收录数量。 9．待客：当买家向你询问宝贝情况时总是没完没了的,这个时候你可不能嫌烦啊,一定要有耐性,就当跟朋友聊天.这往往是迈向成交成功的重要一项.。如果您对一个买家很没耐心,那他也会对您的宝贝失去信心!! 的确是有很多买家会很烦,一个问题问了n 遍。但是,他毕竟是客人,如果连这点耐心也没,那你还做什么呀???你一旦得罪了一个客人,就等于得罪了10 个,甚至50 个客人。旺旺要尽量保证在线时间。而且经常更改旺旺后面的信息。可以把旺旺信息当作店铺公告。例如价格调整了，最新的上价了。起码这样旺旺上的好友能够知道你店铺的相关信息。我又暴一小秘密：我每次上旺旺都上上下下三次。嘿嘿，想必好友上有我的人都会听到三次"吱嘎吱嘎"的开关门声吧。 10．一元拍：要多多参加一元拍,当然,要拿好一点的东西出来拍,虽然多半会亏本,但你赢得了人气,别人进入到你的店铺,说不定又喜欢上了别的宝贝,那你亏的那个就赚回来了,以后还会跟你合作,这是新店开张最重要的拉人方法. 11．推荐位置利用好

一般推荐位放的产品,要么是价格最高的,要么是一元拍之类的 。我这里提倡一定要放最美观的!! 买家第一眼看到你的产品,就是先看图(应该没说错吧??)如果你的图片都不够吸引人,买家也懒得看了,如果你推荐的商品,就让人有点击的欲望,那他肯定会继续看其他产品~~~~即使没有买你的这个产品,也许会买你其他的产品. 12．抢购社区广告位：用银币抢购社区广告位！一定要运用恰当，否则就会反受其害，赔了夫人又折兵。损失了宝贵的银币却提高不了多少流量哦。抢购广告位也需要把握准确的时间哦，毕竟是需要银币来购买的哦！钱啊，得一分钱掰两半来用哦，赚点米实在是不容易啊！小二好扣~呵呵~~要在淘宝买家流动比较多的时候来做广告。每个礼拜呢，大概礼拜四、五、礼拜天，这几天的人流是最多的哦。）也许有会员认为~~人少的时候才做广告~~毕竟能提升的流量，但是买家少了，买的也会少哦，） 所以等淘宝买家多起来的时候做广告是最合适不过了哦：），至于抢什么位置的，得根据自己的银币实力，和经营的商品来操作吧，合理运用好这一招！这个想必大家都知道，而且很多老卖家也经常使用。作用很大，能提高浏览率,会让更多的人看到你的宝贝的店铺，提高成交的机会！目前所知的三种广告位都需要银币： 13.做好沟通: 买家给您店铺或旺旺的留言,记得一定要回复!！!而且是越快越好,相同的一样东西,如果他又同时问了两家,如果你第2 天才回,也许他昨天已经拍了另一家的!,那就太可惜了！当然,也不要老是烦着买家,毕竟,大家都有各自的生活. 14.适当搞些活动 ：比如送买家一些小商品,也许并不值钱,但他一定会觉得你很会做生意!当然，活动太多,也会让人腻味,或者反感的，挑些好日子搞活动吧?! 15.运费要合理 ：有的卖家,东西是便宜了,可是在运费上却做了手脚.我个人是很讨厌这样的行为的!!! 我想,不少买家也和我一样,对这种买家嗤之以鼻吧?! 大家不能为了一点小利,而放弃了一大片森林吧? 我们有很多方法可以减少邮费,这里我就不多说了,论坛有很多帖子都有介绍的,可以去搜索一下。 16．写好评价：在交易完成后双方都会做一个评价，不要仅仅是评价，而不去写评价内容，在淘宝不要放弃任何一个为自己小店做广告的机会，尤其是在刚刚开始的时候。评价内容除了要做出对于交易对方的公正评价，也可以适时的为自己的小店做个小小的宣传，比如特价啊，活动啊，都可以用尽量简洁的一句话来表示，做个小广告，双赢！ 17．很不仁道的做法（不支持！）：在其他店铺跟自己卖同类产品的店铺里寻找买家客户，这部分客户存在哪里呢？去信誉评价里找潜在客户还是很多的，不过很是不人道，想做就偷偷摸摸去做吧。不支持哦，大家要慎重哦 18.经常参加社区活动哦：在节假日或活动日你不能偷懒哦适时做活动，抓住时机。在遇到节日的时候要实现准备好做节日活动的货品，争取做到每个活动都不要放过！一般在每个固定活动的时候淘宝都会有一定的活动， 所以人气也是旺盛的时候，所以不要错过这个机会，自己店里也要做个小活动，记得做活动的时候，自己的店铺名称、签名都要做个响应的修改哦，要不活动做在自己家里就白费了哦，参与社区活动，这是个长期的宣传过程，可能一时见不到明显的效果贵在坚持！以柔克钢！淘宝社区活动是多了去了，都会不定期的举办活动，参与一下会有很多好处地 19．怎样让别人注意到商品的名字：最直接的宝贝描述，给自己宝贝起名字，起个好名字！包括一些关键字！关键字很重要，可以让买家能很好的搜索到你的宝贝！要做到只要买家搜索，就能搜索到你的宝贝，但是不是所有的关键字都可以随便用的，得谨慎操作，否则宝贝就会有被删除的危险哦！ 20：做一个好卖家对你真的有好处哦：这就需要卖家自己的耐心去吸引回头客人了！不管买与不买，只要是到自己小店就是自己的客人，说通俗点就是自己的上帝哦！要有足够的耐心去对待！也许是有些新会员有什么疑问来问到了你，这时候应该感到荣幸哦，不要感觉是负担！说不准下次他有需求的时候就找到你了哦！这些都是潜在的客户，要耐心再耐心的去对待！用心、诚信去经营你的小店，人气一定会所向披靡的！不信你也试下看 21：在发布商品时，区分产品的价格高低：其实制定合理的价格无论是放在浏览量篇还是放在成交量都是可以的。很多人网络购物就是因为价格优势，所以制定合理的商品价格是吸引买家的重要条件。很多买家都会利用收藏筛选自己想要购买的宝贝，大多数买家都会选择按价格从低到高来，很少有人在相同条件下出高价买同样的DD。所以建议卖家经常搜索和自己所卖宝贝相同的DD ，了解一下行情，制定一个合理的价格。 22：在选推荐位时，区分有效期的长短：如果有买家按有效期长短来看的话，如果他看到还有1 天或6 天有效期的同类产品，他也许会去咨询还有1 天的店主。因为快到期的产品店主可能会因为要提升成交量而采取优惠措施噢。所以勤快的店主是不会因为懒惰而去推荐还有一周或十几位的产品的，他会每天都有推荐产品的。 23.在销售商品时，不要表现的特酷。客户就是上帝，这话一点都没错。不管什么情况，都要对客户和和气气的。生意不在人情在嘛。 24.买家收货后，要记得回访客户对产品的感觉如何？ 25.合情合理地分设分店:在不同的店铺里发布商品，被浏览的机会大增。但是不要在同一间店铺重复铺货，最后的结果不堪设想哦。淘宝禁止重复发布宝贝，也禁止重复开店（出售相同宝贝），您可以用亲戚的身份证多开几个店，作为自己店的分店，同时用模板链接回主店从而达到增加宝贝的目的，以增加主店的浏览量,但不能经营相同的商品呦，否则淘宝会处罚的！关于重复开店的处罚规则--卖家必看!!! 26.从买家心理入手捆绑式销售:很多聪明的卖家都在使用这个方法。那就是让你的买家在本来想买一个宝贝的情况下，最后变成买两个以上的宝贝。

网站通过SEO优化在搜索引擎中的自然排名就叫SEO

SEO搜索引擎优化就是：通过SEO技术手段，让百度搜索引擎匹配出我们自己的内容，我们的内容被优先匹配，也就是占据第一页，而不是第二页、第三页。

当然第一页总共有10个位置，排序结果越往前，内容就会被更多用户看到，点击率当然就高。你会去点击10页以后，100页以后的内容吗，我想我没那么时间，除非你特别喜欢深度去找资料才会这么干。

网站SEO只是SEO中的一种存在形式之一，而SEO在实际运用和生活中涉及到的领域是很广泛的。你可以用SEO的思维方式去生活，学习，不仅限于做网站优化。

---