curl的用法

curl是一个利用URL语法在命令行方式下工作的文件传输工具。本文介绍了它的简单用法。

*******************************************************************************************************************************************************

curl是一个利用URL语法在命令行方式下工作的文件传输工具。

它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。

curl同样支持HTTPS认证，HTTP POST方法, HTTP PUT方法, FTP上传, kerberos认证, HTTP上传, 代理服务器, cookies, 用户名/密码认证, 下载文件断点续传, 上载文件断点续传, http代理服务器管道（ proxy tunneling）, 甚至它还支持IPv6, socks5代理服务器, 通过http代理服务器上传文件到FTP服务器等等，功能十分强大。

Windows操作系统下的网络蚂蚁，网际快车(FlashGet)的功能它都可以做到。准确的说，curl支持文件的上传和下载，所以是一个综合传输工具，但是按照传统，用户习惯称curl为下载工具。

curl是瑞典curl组织开发的，您可以访问: http://curl.haxx.se/

获取它的源代码和相关说明。

鉴于curl在Linux上的广泛使用，IBM在AIX Linux Toolbox的光盘中包含了这个软件，并且您可以访问IBM网站:

http://www- 1.ibm.com/servers/aix/products/aixos/linux/altlic.html 下载它。

curl的最新版本是 7.10.8，IBM网站上提供的版本为7.9.3。

在AIX下的安装很简单，IBM网站上下载的rpm格式的包。

在 http://curl.haxx.se/docs/，您可以下载到UNIX格式的man帮助，里面有详细的curl工具的使用说明。

curl的用法为：curl [options] [URL...]

其中options是下载需要的参数，大约有80多个，curl的各个功能完全是依靠这些参数完成的。

具体参数的使用，用户可以参考curl的man帮助。

下面，本文就将结合具体的例子来说明怎样利用curl进行下载。

1、获得一张页面

使用命令：curl http://curl.haxx.se

这是最简单的使用方法。用这个命令获得了http://curl.haxx.se指向的页面，同样，如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地。如果下载的是HTML文档，那么缺省的将不显示文件头部，即HTML文档的header。要全部显示，请加参数 -i，要只显示头部，用参数 -I。任何时候，可以使用 -v 命令看curl是怎样工作的，它向服务器发送的所有命令都会显示出来。为了断点续传，可以使用-r参数来指定传输范围。

2、表单（Form）的获取

在WEB页面设计中，form是很重要的元素。Form通常用来收集并向网站提交信息。提交信息的方法有两种，GET方法和POST方法。先讨论GET方法，例如在页面中有这样一段：

<form method="GET" action="junk.cgi">

<input type=text name="birthyear">

<input type=submit name=press value="OK">

</form>

那么浏览器上会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单就用GET方法向服务器提交文本框的数据。

例如原始页面是在 www.hotmail.com/when/birth.html看到的，然后您在文本框中输入1905，然后按OK按钮，那么浏览器的URL现在应该是：“www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK”

对于这种网页，curl可以直接处理，例如想获取上面的网页，只要输入：

curl "www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK"

就可以了。

表单用来提交信息的第二种方法叫做POST方法，POST方法和GET方法的区别在于GET方法使用的时候，浏览器中会产生目标URL，而POST不会。类似GET，这里有一个网页：

<form method="POST" action="junk.cgi">

<input type=text name="birthyear">

<input type=submit name=press value="OK">

</form>

浏览器上也会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单用POST方法向服务器提交数据。

这时的URL是看不到的，因此需要使用特殊的方法来抓取这个页面：

curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi

这个命令就可以做到。

1995年年末，RFC 1867定义了一种新的POST方法，用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的：

<form method="POST" enctype='multipart/form-data' action="upload.cgi">

<input type=file name=upload>

<input type=submit name=press value="OK">

</form>

对于这种页面，curl的用法不同：

curl -F upload=@localfilename -F press=OK URL

这个命令的实质是将本地的文件用POST上传到服务器。

有关POST还有不少用法，用户可以自己摸索。

3、使用PUT方法。

HTTP协议文件上传的标准方法是使用PUT，此时curl命令使用-T参数：

curl -T uploadfile www.uploadhttp.com/receive.cgi

4、有关认证。

curl可以处理各种情况的认证页面，例如下载用户名/密码认证方式的页面（在IE中通常是出现一个输入用户名和密码的输入框）：

curl -u name:password www.secrets.com

如果网络是通过http代理服务器出去的，而代理服务器需要用户名和密码，那么输入：

curl -U proxyuser:proxypassword http://curl.haxx.se

任何需要输入用户名和密码的时候，只在参数中指定用户名而空着密码，curl可以交互式的让用户输入密码。

5、引用。

有些网络资源访问的时候必须经过另外一个网络地址跳转过去，这用术语来说是：referer，引用。

对于这种地址的资源，curl也可以下载：

curl -e http://curl.haxx.se daniel.haxx.se

6、指定用户客户端。

有些网络资源首先需要判断用户使用的是什么浏览器，符合标准了才能够下载或者浏览。

此时curl可以把自己“伪装”成任何其他浏览器：

curl -A "Mozilla/4.0 (compatibleMSIE 5.01Windows NT 5.0)" URL

这个指令表示curl伪装成了IE5.0，用户平台是Windows 2000。（对方服务器是根据这个字串来判断客户端的类型的，所以即使使用AIX也无所谓）。

使用：

curl -A "Mozilla/4.73 [en] (X11ULinux 2.2.15 i686)" URL

此时curl变成了Netscape，运行在PIII平台的Linux上了。

7、COOKIES

Cookie是服务器经常使用的一种记忆客户信息的方法。如果cookie被记录在了文件中，那么使用命令：

curl -b stored_cookies_in_file www.cookiesite.com

curl可以根据旧的cookie写出新cookie并发送到网站：

curl -b cookies.txt -c newcookies.txt www.cookiesite.com

8、加密的HTTP——HTTPS。

如果是通过OpenSSL加密的https协议传输的网页，curl可以直接访问：

curl https://that.secure.server.com

9、http认证。

如果是采用证书认证的http地址，证书在本地，那么curl这样使用：

curl -E mycert.pem https://that.secure.server.com

参考读物和注意事项：

curl非常博大，用户要想使用好这个工具，除了详细学习参数之外，还需要深刻理解http的各种协议与URL的各个语法。

这里推荐几个读物：

RFC 2616 HTTP协议语法的定义。

RFC 2396 URL语法的定义。

RFC 2109 Cookie是怎样工作的。

RFC 1867 HTTP如何POST，以及POST的格式。

文字

curl是免费软件，IBM公司对curl不提供技术支持。

curl官方网站:

http://curl.haxx.se

与浏览器不同，mac 的终端默认并没有开启代理模式，也就是说即使我们电脑安装了xxxxx代理客户端，在终端中也是无法ke学上网的。下面通过样例演示如何对终端配置网络代理。 首先我们打开我们使用的代理客户端设置页面，查看其开放的 HTTP 端口，比如这里使用的端口是 1088（1）bash 是 macOS Mojave 及更低版本中的默认 Shell 终端。要对其进行配置，首先执行如下命令修改用户全局配置文件： （2）而从 macOS Catalina 版开始，Mac 将使用 zsh 作为默认的 Shell 终端。要对其进行配置，首先执行如下命令修改用户全局配置文件： （1）首先我们使用 curl 命令查看终端目前的 IP，从结果来看确实使用的是国内的 IP 地址：（2）接着执行如下命令开启代理模式： （3）再次使用 curl 命令查看可以发现变成了国外的 IP（代理服务器的 IP）：（4）如果需要关闭代理模式，则执行如下命令即可： （1）执行如下命令可设置代理： （2）执行如下命令则取消代理： （1）执行如下命令可设置代理： （2）执行如下命令则取消代理： 本帖原文出自： www.hangge.com

curl使用笔记

CURLOPT_HEADER：设为1，则在返回的内容里包含http header；

CURLOPT_FOLLOWLOCATION：设为0，则不会自动301，302跳转；

*CURLOPT_INFILESIZE: 当你上传一个文件到远程站点，这个选项告诉PHP你上传文件的大小。

*CURLOPT_VERBOSE: 如果你想CURL报告每一件意外的事情，设置这个选项为一个非零值。

*CURLOPT_HEADER: 如果你想把一个头包含在输出中，设置这个选项为一个非零值。

*CURLOPT_NOPROGRESS: 如果你不会PHP为CURL传输显示一个进程条，设置这个选项为一个非零值。

注意：PHP自动设置这个选项为非零值，你应该仅仅为了调试的目的来改变这个选项。

*CURLOPT_NOBODY: 如果你不想在输出中包含body部分，设置这个选项为一个非零值。

*CURLOPT_FAILONERROR: 如果你想让PHP在发生错误(HTTP代码返回大于等于300)时，不显示，设置这个选项为一人非零值。默认行为是返回一个正常页，忽略代码。

*CURLOPT_UPLOAD: 如果你想让PHP为上传做准备，设置这个选项为一个非零值。

*CURLOPT_POST: 如果你想PHP去做一个正规的HTTP POST，设置这个选项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型，多数被HTML表单使用。

*CURLOPT_FTPLISTONLY: 设置这个选项为非零值，PHP将列出FTP的目录名列表。

*CURLOPT_FTPAPPEND: 设置这个选项为一个非零值，PHP将应用远程文件代替覆盖它。

*CURLOPT_NETRC: 设置这个选项为一个非零值，PHP将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。

*CURLOPT_FOLLOWLOCATION: 设置这个选项为一个非零值(象 “Location: “)的头，服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 “Location: “的头)。

*CURLOPT_PUT: 设置这个选项为一个非零值去用HTTP上传一个文件。要上传这个文件必须设置CURLOPT_INFILE和CURLOPT_INFILESIZE选项.

*CURLOPT_MUTE: 设置这个选项为一个非零值，PHP对于CURL函数将完全沉默。

*CURLOPT_TIMEOUT: 设置一个长整形数，作为最大延续多少秒。

*CURLOPT_LOW_SPEED_LIMIT: 设置一个长整形数，控制传送多少字节。

*CURLOPT_LOW_SPEED_TIME: 设置一个长整形数，控制多少秒传送CURLOPT_LOW_SPEED_LIMIT规定的字节数。

*CURLOPT_RESUME_FROM: 传递一个包含字节偏移地址的长整形参数，(你想转移到的开始表单)。

*CURLOPT_SSLVERSION: 传递一个包含SSL版本的长参数。默认PHP将被它自己努力的确定，在更多的安全中你必须手工设置。

*CURLOPT_TIMECONDITION: 传递一个长参数，指定怎么处理CURLOPT_TIMUE参数。你可以设置这个参数为TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。这仅用于HTTP。

*CURLOPT_TIMUE: 传递一个从1970-1-1开始到现在的秒数。这个时间将被CURLOPT_TIMUE选项作为指定值使用，或被默认TIMECOND_IFMODSINCE使用。

下列选项的值将被作为字符串：

*CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项。

*CURLOPT_USERPWD: 传递一个形如[username]:[password]风格的字符串,作用PHP去连接。

*CURLOPT_PROXYUSERPWD: 传递一个形如[username]:[password] 格式的字符串去连接HTTP代理。

*CURLOPT_RANGE: 传递一个你想指定的范围。它应该是”X-Y”格式，X或Y是被除外的。HTTP传送同样支持几个间隔，用逗句来分隔(X-Y,N-M)。

*CURLOPT_POSTFIELDS: 传递一个作为HTTP “POST”操作的所有数据的字符串。

*CURLOPT_REFERER: 在HTTP请求中包含一个”referer”头的字符串。

*CURLOPT_USERAGENT: 在HTTP请求中包含一个”user-agent”头的字符串。

*CURLOPT_FTPPORT: 传递一个包含被ftp “POST”指令使用的IP地址。这个POST指令告诉远程服务器去连接我们指定的IP地址。这个字符串可以是一个IP地址，一个主机名，一个网络界面名(在UNIX下)，或是‘-’(使用系统默认IP地址)。

*CURLOPT_COOKIE: 传递一个包含HTTP cookie的头连接。

*CURLOPT_SSLCERT: 传递一个包含PEM格式证书的字符串。

*CURLOPT_SSLCERTPASSWD: 传递一个包含使用CURLOPT_SSLCERT证书必需的密码。

*CURLOPT_COOKIEFILE: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是Netscape格式，或是堆存在文件中的HTTP风格的头。

*CURLOPT_CUSTOMREQUEST: 当进行HTTP请求时，传递一个字符被GET或HEAD使用。为进行DELETE或其它操作是有益的，更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request.

注意: 在确认你的服务器支持命令先不要去这样做。

下列的选项要求一个文件描述(通过使用fopen()函数获得)：

*CURLOPT_FILE: 这个文件将是你放置传送的输出文件，默认是STDOUT.

*CURLOPT_INFILE: 这个文件是你传送过来的输入文件。

*CURLOPT_WRITEHEADER: 这个文件写有你输出的头部分。

*CURLOPT_STDERR: 这个文件写有错误而不是stderr。

转载，仅供参考。

---