HTTP代理起着居间的作用,是连接到它的客户端的服务器;对于要连接的服务器,是客户端。它负责在两端之间来回传输HTTP信息。
具体来说,HTTP代理工作流程为:
1、客户端浏览器将请求原封不动的发送给代理服务器
2、代理服务器从HttpHeader中获取目标的主机地址,将请求发送给目标主机
3、目标主机将响应回传给代理服务器
4、代理服务器将响应回传给客户端浏览器。
HTTP代理流程对于客户端浏览器来说,代理服务器就是目标web服务器。
对网络服务器而言,它将代理视为客户端,完全无法察觉到真正客户端的存在。
这种代理服务器实现是比较简单的,基本上是原封不动的透传,主要是第2步,需要从header中识别目标主机地址。
HTTPS是在HTTP上建立SSL加密层,并对传输数据进行加密,是HTTP协议的安全版。
它有两个主要作用,一是对数据进行加密,并建立一个信息安全通道,来保证传输过程中的数据安全;二是对网站服务器进行真实身份认证。
HTTPS代理工作流程为:
1、浏览器首先发送HTTPConnect请求给代理服务器,发送目标主机信息。
2、代理服务器建立和目标主机的tcp链接,并向浏览器回应ConnectionEstablished应答。
3、浏览器将请求发送给代理服务器,代理服务器透传给目标主机。
4、目标主机将响应回给代理服务器,代理服务器将响应回给浏览器。
https与相同的HTTP网站相比,HTTPS加密的网站在搜索结果中将排名更高。IPIDEA全球IP支持HTTP/HTTPS/SOCKS5,全球IP网络资源量,真实带宽,分布在220+个国家和地区,支持多线程和高并发使用,保证IP纯度和稳定性。
虽然HTTPS不是绝对安全的,但是掌握根证书和加密算法的组织也可以进行中间攻击,HTTPS仍然是当前体系结构下最安全的解决方案,可用于认证用户和服务器,以确保数据被发送到正确的客户端和服务器;httpS协议是由SSL+HTTP协议构建的网络协议,可以进行加密传输和身份认证。比HTTP协议更安全,可以防止数据在传输过程中被窃取或更改,保证数据的完整性。
第一步:寻找代理寻找QQ代理是最关键的一步,是必须要有一个好的QQ代理服务器以保证QQ的正常运行。
QQ代理公布器的使用方法很简单,你只需按“读取数据”这个按钮就可以找到很多的代理。软件是从网站上的数据库随机读取QQ代理(SOCK5代理)的数据,这样可以避免太多人同时使用同一代理。你可以随意选择你比较感兴趣的地址,这样使用代理的时候别人就会以为你是在那个地方。然后测试端口能否连接和其连接速度,端口能连接的为黑色,不能连接的为灰色。连接速度越短越好,这样才能保证QQ的正常使用。
第二步:设置代理
找到一个不错的代理之后,我们还要在QQ上进行设置。在QQ的“系统参数”里面选择“网络设置”,将“使用SOCKS5代理服务器”前面打上勾,这样底下灰色的部分就可以进行选择了。
把用“QQ代理公布器”获得的IP添加进去,并且写入相对应的端口号,清空最下面两项,然后点击“测试”,如果显示“代理服务器工作正常”的字样,就算成功了一半。不过还不要着急,我们还得进行登录测试。
选择“离线”,然后再选择“登录”,如果一直登录不上去,说明正在使用这个代理的人太多,当很多人同时使用相同的代理,就会造成远程主机的繁忙或端口不能连接。建议你换一个代理。
如果顺利登录上去,就说明这个代理是成功的。可以让好友帮你查看,了解到你的IP地址已经发生了变化,真实的IP地址被隐藏起来,所显示的仅仅是这个代理罢了!
通过上面两步的设置就可以将QQ的IP地址巧妙伪装起来了。
第二种方法:如下Proxy是什么呢,是代理。普通的因特网访问是一个典型的客户机与服务器结构:用户利用计算机上的客户端程序,如浏览器发出请求,远端WWW服务器程序响应请求并提供相应的数据。而Proxy处于客户机与服务器之间,对于服务器来说,Proxy是客户机,Proxy提出请求,服务器响应;对于客户机来说,Proxy是服务器,它接受客户机的请求,并将服务器上传来的数据转给客户机。它的作用很象现实生活中的代理服务商。因此Proxy Server的中文名称就是代理服务器。
代理服务器的工作机制
代理服务器的工作机制很象我们生活中常常提及的代理商,假设你自己的机器为A机,你想获得的数据由服务器B提供,代理服务器为C,那么具体的连接过程是这样的。
首先,A机需要B机的数据,A直接与C机建立连接,C机接收到A机的数据请求后,与B机建立连接,下载A机所请求的B机上的数据到本地,再将此数据发送至A机,完成代理任务。
代理服务器的作用有四个:
一、提高访问速度。因为客户要求的数据存于代理服务器的硬盘中,因此下次这个客户或其它客户再要求相同目的站点的数据时,就会直接从代理服务器的硬盘中读取,代理服务器起到了缓存的作用,对热门站点有很多客户访问时,代理服务器的优势更为明显。
二、Proxy可以起到防火墙的作用。因为所有使用代理服务器的用户都必须通过代理服务器访问远程站点,因此在代理服务器上就可以设置相应的限制,以过滤或屏蔽掉某些信息。这是局域网网管对局域网用户访问范围限制最常用的办法,也是局域网用户为什么不能浏览某些网站的原因。拨号用户如果使用代理服务器,同样必须服从代理服务器的访问限制,除非你不使用这个代理服务器。
三、通过代理服务器访问一些不能直接访问的网站。互联网上有许多开放的代理服务器,客户在访问权限受到限制时,而这些代理服务器的访问权限是不受限制的,刚好代理服务器在客户的访问范围之内,那么客户通过代理服务器访问目标网站就成为可能。国内的高校多使用教育网,不能出国,但通过代理服务器,就能实现访问因特网,这就是高校内代理服务器热的原因所在。
四、安全性得到提高。无论是上聊天室还是浏览网站,目的网站只能知道你来自于代理服务器,而你的真实IP就无法测知,这就使得使用者的安全性得以提高。
代理服务器的设置:
要设置代理服务器,必须先知道代理服务器地址和端口号,然后在IE或NC的代理服务器设置栏中填入相应地址和端口号就可以了。假设我们有一个代理服务器的地址是Proxy.net.net,端口号是3000,在IE中的配置方法是使用查看菜单的Internet选项/连接/代理服务器,然后在通过代理服务器访问Internet选项前面的复选框中打上钩,在地址框中填入代理服务器地址,如本例中假设代理服务器地址是proxy.net.net,再在端口框中填上端口号3000,点一下最下方的应用按钮,再点确定,设置完成。下次再使用IE时用户就会发现,无论你浏览什么网站,IE总是先与代理服务器连接。用NC的话,设置稍繁一点。使用edit菜单下的Preferences菜单项,再选择Advanced下的Proxies,此时在右侧Proxies选项中选择第二项Manral Proxy configuration,再点其右边的View…按钮,就会出现代理服务器的配置界面,在代理服务器地址和端口号栏中填入相应的内容,点击OK,退回到参数设置窗口,再点击OK,代理服务器的设置工作就完成了。当客户再次浏览网页时,就会自动向你设定的代理服务器发出申请,并得到数据,在浏览网站时,无论是IE或是NC都可以在浏览器状态栏中清楚地看到先连代理服务器,再连目标网站的过程。
但是,千万不要把Proxy Server和Router搞混了,Proxy Server是建立在应用层上的服务软件,而Router则是一台网络设备或一台电脑,它是工作在IP层的,数据到达IP层后就进行转发。一般一个Proxy Server工作在一台既具有MODEM和网卡的计算机上的。不同的Proxy Server软件提供的服务不同,一般都提供WWW,FTP等常用的服务。在内部网中每台客机都必须具有一个独立的IP地址,且在客机的"控制面板-Internet 项"中"连接"中配置使用Proxy Server且指向Proxy Server IP地址和服务的端口号。当Proxy Server启动时,将利用Winsock.dll开辟一个指定的服务端口,等待客机的的请求。当Proxy Server的MODEM拨号上网后,你的Proxy Server就可以工作了。当你在你的IE发出一连接请求时,你的客机就直接将数据包发到Proxy Server,当服务器捕获这个IP包时,首先要分析它是什么请求,如果是HTTP请求,Proxy Server就向你的ISP发出HTTP请求,当Proxy Server收到回应时,就将此IP包转发到内部网络上,你的客机就会获得此IP包。另外你的Proxy Server还可以做为一个很好的防火墙。具体操作,请参考你的Proxy Server的readme文件。
QQ代理设置方法代理服务器地址:192.168.0.1SOCKS5端口:1080QQ菜单->“系统参数”->“网络设置”:如果QQ中的"测试"通得过,还上不了QQ,有以下几种可能:1、服务器是双网卡,有两个IP地址,这两个IP地址不能是在同一个网段,这样会导致路由混乱。比如一个IP是192.168.0.1,另外一个就最好是192.168.1.1。
2、服务器的网络属性里安装了太多的无用的网卡驱动和TCP/IP协议,建议删除所有的网卡驱动和TCP/IP协议。重新安装一下网卡驱动,并设置好TCP/IP协议。一个网卡对应一个TCP/IP协议。
3、服务器上安装了某种防火墙程序,他影响了QQ的通讯,关闭这些程序试试
4. 网络速度太慢当然qq里的代理也可以自己做,端口你可以自定义
初看OkHttp源码,由于对Address、Route、Proxy、ProxySelector、RouteSelector等理解不够,读源码非常吃力,看了几遍依然对于寻找复用连接、创建连接、连接服务器、连接代理服务器、创建隧道连接等逻辑似懂非懂,本篇决定梳理一遍相关的概念及基本原理。
● HTTP/1.1(HTTPS)
● HTTP/2
● SPDY
一个http请求的流程(直连):
1、输入url及参数;
2、如果是url是域名则解析ip地址,可能对应多个ip,如果没有指定端口,则用默认端口,http请求用80;
3、创建socket,根据ip和端口连接服务器(socket内部会完成3次TCP握手);
4、socket成功连接后,发送http报文数据。
一个https请求的流程(直连):
1、输入url及参数;
2、如果是url是域名则解析ip地址,可能对应多个ip,如果没有指定端口,则用默认端口,https请求用443;
3、创建socket,根据ip和端口连接服务器(socket内部会完成3次TCP握手);
4、socket成功连接后进行TLS握手,可通过java标准款提供的SSLSocket完成;
5、握手成功后,发送https报文数据。
1、分类
● HTTP代理:普通代理、隧道代理
● SOCKS代理:SOCKS4、SOCKS5
2、HTTP代理分类及说明
普通代理
HTTP/1.1 协议的第一部分。其代理过程为:
● client 请求 proxy
● proxy 解析请求获取 origin server 地址
● proxy 向 origin server 转发请求
● proxy 接收 origin server 的响应
● proxy 向 client 转发响应
其中proxy获取目的服务器地址的标准方法是解析 request line 里的 request-URL。因为proxy需要解析报文,因此普通代理无法适用于https,因为报文都是加密的。
隧道代理
通过 Web 代理服务器用隧道方式传输基于 TCP 的协议。
请求包括两个阶段,一是连接(隧道)建立阶段,二是数据通信(请求响应)阶段,数据通信是基于 TCP packet ,代理服务器不会对请求及响应的报文作任何的处理,都是原封不动的转发,因此可以代理 HTTPS请求和响应。
代理过程为:
● client 向 proxy 发送 CONNET 请求(包含了 origin server 的地址)
● proxy 与 origin server 建立 TCP 连接
● proxy 向 client 发送响应
● client 向 proxy 发送请求,proxy 原封不动向 origin server 转发请求,请求数据不做任何封装,为原生 TCP packet.
3、SOCKS代理分类及说明
● SOCKS4:只支持TCP协议(即传输控制协议)
● SOCKS5: 既支持TCP协议又支持UDP协议(即用户数据包协议),还支持各种身份验证机制、服务器端域名解析等。
SOCK4能做到的SOCKS5都可得到,但反过来却不行,比如我们常用的聊天工具QQ在使用代理时就要求用SOCKS5代理,因为它需要使用UDP协议来传输数据。
有了上面的基础知识,下面分析结合源码分析OkHttp路由相关的逻辑。OkHttp用Address来描述与目标服务器建立连接的配置信息,但请求输入的可能是域名,一个域名可能对于多个ip,真正建立连接是其中一个ip,另外,如果设置了代理,客户端是与代理服务器建立直接连接,而不是目标服务器,代理又可能是域名,可能对应多个ip。因此,这里用Route来描述最终选择的路由,即客户端与哪个ip建立连接,是代理还是直连。下面对比下Address及Route的属性,及路由选择器RouteSelector。
描述与目标服务器建立连接所需要的配置信息,包括目标主机名、端口、dns,SocketFactory,如果是https请求,包括TLS相关的SSLSocketFactory 、HostnameVerifier 、CertificatePinner,代理服务器信息Proxy 、ProxySelector 。
Route提供了真正连接服务器所需要的动态信息,明确需要连接的服务器IP地址及代理服务器,一个Address可能会有很多个路由Route供选择(一个DNS对应对个IP)。
Address和Route都是数据对象,没有提供操作方法,OkHttp另外定义了RouteSelector来完成选择的路由的操作。
1、读取代理配置信息:resetNextProxy()
读取代理配置:
● 如果有指定代理(不读取系统配置,在OkHttpClient实例中指定),则只用1个该指定代理;
● 如果没有指定,则读取系统配置的,可能有多个。
2、获取需要尝试的socket地址(目标服务器或者代理服务器):resetNextInetSocketAddress()
结合Address的host和代理,解析要尝试的套接字地址(ip+端口)列表:
● 直连或者SOCK代理, 则用目标服务器的主机名和端口,如果是HTTP代理,则用代理服务器的主机名和端口;
● 如果是SOCK代理,根据目标服务器主机名和端口号创建未解析的套接字地址,列表只有1个地址;
● 如果是直连或HTTP代理,先DNS解析,得到InetAddress列表(没有端口),再创建InetSocketAddress列表(带上端口),InetSocketAddress与InetAddress的区别是前者带端口信息。
3、获取路由列表:next()
选择路由的流程解析:
● 遍历每个代理对象,可能多个,直连的代理对象为Proxy.DIRECT(实际是没有中间代理的);
● 对每个代理获取套接字地址列表;
● 遍历地址列表,创建Route,判断Route如果在路由黑名单中,则添加到失败路由列表,不在黑名单中则添加到待返回的Route列表;
● 如果最后待返回的Route列表为空,即可能所有路由都在黑名单中,实在没有新路由了,则将失败的路由集合返回;
● 传入Route列表创建Selection对象,对象比较简单,就是一个目标路由集合,及读取方法。
为了避免不必要的尝试,OkHttp会把连接失败的路由加入到黑名单中,由RouteDatabase管理,该类比较简单,就是一个失败路由集合。
1、创建Address
Address的创建在RetryAndFollowUpInteceptor里,每次请求会声明一个新的Address及StreamAllocation对象,而StreamAllocation使用Address创建RouteSelector对象,在连接时RouteSelector确定请求的路由。
每个Requst都会构造一个Address对象,构造好了Address对象只是有了与服务器连接的配置信息,但没有确定最终服务器的ip,也没有确定连接的路由。
2、创建RouteSelector
在StreamAllocation声明的同时会声明路由选择器RouteSelector,为一次请求寻找路由。
3、选择可用的路由Route
下面在测试过程跟踪实例对象来理解,分别测试直连和HTTP代理HTTP2请求路由的选择过程:
● 直连请求流程
● HTTP代理HTTPS流程
请求url: https://www.jianshu.com/p/63ba15d8877a
1、构造address对象
2、读取代理配置:resetNextProxy
3、解析目标服务器套接字地址:resetNextInetSocketAddress
4、选择Route创建RealConnection
5、确定协议
测试方法:
● 在PC端打开Charles,设置端口,如何设置代理,网上有教程,比较简单;
● 手机打开WIFI,选择连接的WIFI修改网络,在高级选项中设置中指定了代理服务器,ip为PC的ip,端口是Charles刚设置的端口;
● OkHttpClient不指定代理,发起请求。
1、构造address对象
2、读取代理配置:resetNextProxy
3、解析目标服务器套接字地址:resetNextInetSocketAddress
4、选择Route创建RealConnection
5、创建隧道
由于是代理https请求,需要用到隧道代理。
从图可以看出,建立隧道其实是发送CONNECT请求,header包括字段Proxy-Connection,目标主机名,请求内容类似:
6、确定协议,SSL握手
1、代理可分为HTTP代理和SOCK代理;
2、HTTP代理又分为普通代理和隧道代理;普通代理适合明文传输,即http请求;隧道代理仅转发TCP包,适合加密传输,即https/http2
3、SOCK代理又分为SOCK4和SOCK5,区别是后者支持UDP传输,适合代理聊天工具如QQ;
4、没有设置代理(OkHttpClient没有指定同时系统也没有设置),客户端直接与目标服务器建立TCP连接;
5、设置了代理,代理http请求时,客户端与代理服务器建立TCP连接,如果代理服务器是域名,则解释代理服务器域名,而目标服务器的域名由代理服务器解析;
6、设置了代理,代理https/http2请求时,客户端与代理服务器建立TCP连接,发送CONNECT请求与代理服务器建立隧道,并进行SSL握手,代理服务器不解析数据,仅转发TCP数据包。
如何正确使用 HTTP proxy
OkHttp3中的代理与路由
HTTP 代理原理及实现(一)
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)