python爬虫爬下来的数据怎么导入到MySQL

下载mysql.connector库

然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的

import mysql.connector

conn = mysql.connector.connect(

    user='root',

    password='root',

    host='127.0.0.1',

    port='3306',

    database='test_demo'

)

cursor = conn.cursor()

cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])

cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])

print('************** %s  %s 数据保存成功 **************'%(user_rank,user_name))

conn.commit()

cursor.close()

插进入就这样的

1. 如何将数据上传给服务器

医嘱以什么形式发送过来？ 办法有很多，最简单的，就是在自己机器里，建立抄2个数据库A,B，假如A是外部服务器。

在数据库中，以A数据库做发布，让B数据库订阅，弄好以后，A数据库的数据就会自动的传送到B数据库。具体的，你要看SQL SERVER的文档关于发布订阅的那部分，如果细节有不懂得，你可以给我留言，我在给你解答。

在说一个方法，使用程序将A中的数据，直接插入到B数据库。 在程序里建立两个数据源zhidao，一个访问A数据库一个访问B数据库，然后，通过A数据源读取数据，插入到B数据源对应的数据库中。

2. 如何将本地数据库 放到服务器上

首先备份好你本地的数据库，方法如下。

1、用APMServ5.2.6（网站上面有下载）带的myadmin 进行备份恢复。

A、运行APMServ5.2.6， 点击右边的“管理MySql 数据库”。服务器填写127.0.0.1:3306,

登入名称：root，密码为空进行登录。在左边是数据库列表。点击你的数据库。点导出、拉到

最下面把“另存为文件”打勾。点执行。这样你就可以备份你的数据库了。

2、运行mySQL-Front 备份恢复你的数据库。

A、新建一个登录。

信息栏中随便写一下名字。标识你的登录信息。

B、点击连接栏，分别填好：

服务器：服务器的IP

端 口：一般为3306

C、点击注册栏，分别填好：

用 户：你申请的数据库的用户名（如果是本地一般为root）,

密 码：数据库的密码（本地为空）

数据库：你申请的数据库名。

填写好这些信息后点击“确定”这样就能链接到你的远程数据库了。左边这个远程数据。

服务器的一些数据库，点击你的数据库后等待链接。直至返回所有数据，你便能打开你的数据库。

中的数据表了。在这里你可以修改你的数据表结构，删除填加数据等（小心操作）。

D、右键点击你的数据库进行备份（输出）数据，有几种备份的类型，一般选sql。

3. 如何把本地数据库上传到服务器,把做好的网站传到服务器

这个情况按购买的产品分析：虚拟主机空间、vps

1. 虚拟空间

一般的虚拟空间购买后，服务商都会提供相应的空间面板

登录空间面板，文件管理那边可以上传站点资料

mysql这样的通过myadmin可以上传本地数据库到空间上；

2. vps

付费的cpanel、plesk插件可以像上面的虚拟空间面板一样操作

自己源码安装的，需要开通ftp账户来上传空间资料

mysql开启远程功能允许本地使用mysql命令上传到vps上。

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1. 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2. 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3. 把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4.让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

---