OkHttp源码解析 （三）——代理和路由

初看OkHttp源码，由于对Address、Route、Proxy、ProxySelector、RouteSelector等理解不够，读源码非常吃力，看了几遍依然对于寻找复用连接、创建连接、连接服务器、连接代理服务器、创建隧道连接等逻辑似懂非懂，本篇决定梳理一遍相关的概念及基本原理。

● HTTP/1.1(HTTPS)

● HTTP/2

● SPDY

一个http请求的流程（直连）：

1、输入url及参数；

2、如果是url是域名则解析ip地址，可能对应多个ip，如果没有指定端口，则用默认端口，http请求用80；

3、创建socket，根据ip和端口连接服务器（socket内部会完成3次TCP握手）；

4、socket成功连接后，发送http报文数据。

一个https请求的流程（直连）：

1、输入url及参数；

2、如果是url是域名则解析ip地址，可能对应多个ip，如果没有指定端口，则用默认端口，https请求用443；

3、创建socket，根据ip和端口连接服务器（socket内部会完成3次TCP握手）；

4、socket成功连接后进行TLS握手，可通过java标准款提供的SSLSocket完成；

5、握手成功后，发送https报文数据。

1、分类

● HTTP代理：普通代理、隧道代理

● SOCKS代理：SOCKS4、SOCKS5

2、HTTP代理分类及说明

普通代理

HTTP/1.1 协议的第一部分。其代理过程为：

● client 请求 proxy

● proxy 解析请求获取 origin server 地址

● proxy 向 origin server 转发请求

● proxy 接收 origin server 的响应

● proxy 向 client 转发响应

其中proxy获取目的服务器地址的标准方法是解析 request line 里的 request-URL。因为proxy需要解析报文，因此普通代理无法适用于https，因为报文都是加密的。

隧道代理

通过 Web 代理服务器用隧道方式传输基于 TCP 的协议。

请求包括两个阶段，一是连接（隧道）建立阶段，二是数据通信（请求响应）阶段，数据通信是基于 TCP packet ，代理服务器不会对请求及响应的报文作任何的处理，都是原封不动的转发，因此可以代理 HTTPS请求和响应。

代理过程为：

● client 向 proxy 发送 CONNET 请求（包含了 origin server 的地址）

● proxy 与 origin server 建立 TCP 连接

● proxy 向 client 发送响应

● client 向 proxy 发送请求，proxy 原封不动向 origin server 转发请求，请求数据不做任何封装，为原生 TCP packet.

3、SOCKS代理分类及说明

● SOCKS4：只支持TCP协议（即传输控制协议）

● SOCKS5: 既支持TCP协议又支持UDP协议（即用户数据包协议），还支持各种身份验证机制、服务器端域名解析等。

SOCK4能做到的SOCKS5都可得到，但反过来却不行，比如我们常用的聊天工具QQ在使用代理时就要求用SOCKS5代理，因为它需要使用UDP协议来传输数据。

有了上面的基础知识，下面分析结合源码分析OkHttp路由相关的逻辑。OkHttp用Address来描述与目标服务器建立连接的配置信息，但请求输入的可能是域名，一个域名可能对于多个ip，真正建立连接是其中一个ip，另外，如果设置了代理，客户端是与代理服务器建立直接连接，而不是目标服务器，代理又可能是域名，可能对应多个ip。因此，这里用Route来描述最终选择的路由，即客户端与哪个ip建立连接，是代理还是直连。下面对比下Address及Route的属性，及路由选择器RouteSelector。

描述与目标服务器建立连接所需要的配置信息，包括目标主机名、端口、dns，SocketFactory，如果是https请求，包括TLS相关的SSLSocketFactory 、HostnameVerifier 、CertificatePinner，代理服务器信息Proxy 、ProxySelector 。

Route提供了真正连接服务器所需要的动态信息，明确需要连接的服务器IP地址及代理服务器，一个Address可能会有很多个路由Route供选择（一个DNS对应对个IP）。

Address和Route都是数据对象，没有提供操作方法，OkHttp另外定义了RouteSelector来完成选择的路由的操作。

1、读取代理配置信息：resetNextProxy()

读取代理配置：

● 如果有指定代理（不读取系统配置，在OkHttpClient实例中指定），则只用1个该指定代理；

● 如果没有指定，则读取系统配置的，可能有多个。

2、获取需要尝试的socket地址（目标服务器或者代理服务器）：resetNextInetSocketAddress()

结合Address的host和代理，解析要尝试的套接字地址（ip+端口）列表：

● 直连或者SOCK代理， 则用目标服务器的主机名和端口，如果是HTTP代理，则用代理服务器的主机名和端口；

● 如果是SOCK代理，根据目标服务器主机名和端口号创建未解析的套接字地址，列表只有1个地址；

● 如果是直连或HTTP代理，先DNS解析，得到InetAddress列表（没有端口），再创建InetSocketAddress列表（带上端口），InetSocketAddress与InetAddress的区别是前者带端口信息。

3、获取路由列表：next()

选择路由的流程解析：

● 遍历每个代理对象，可能多个，直连的代理对象为Proxy.DIRECT（实际是没有中间代理的）；

● 对每个代理获取套接字地址列表；

● 遍历地址列表，创建Route，判断Route如果在路由黑名单中，则添加到失败路由列表，不在黑名单中则添加到待返回的Route列表；

● 如果最后待返回的Route列表为空，即可能所有路由都在黑名单中，实在没有新路由了，则将失败的路由集合返回；

● 传入Route列表创建Selection对象，对象比较简单，就是一个目标路由集合，及读取方法。

为了避免不必要的尝试，OkHttp会把连接失败的路由加入到黑名单中，由RouteDatabase管理，该类比较简单，就是一个失败路由集合。

1、创建Address

Address的创建在RetryAndFollowUpInteceptor里，每次请求会声明一个新的Address及StreamAllocation对象，而StreamAllocation使用Address创建RouteSelector对象，在连接时RouteSelector确定请求的路由。

每个Requst都会构造一个Address对象，构造好了Address对象只是有了与服务器连接的配置信息，但没有确定最终服务器的ip，也没有确定连接的路由。

2、创建RouteSelector

在StreamAllocation声明的同时会声明路由选择器RouteSelector，为一次请求寻找路由。

3、选择可用的路由Route

下面在测试过程跟踪实例对象来理解，分别测试直连和HTTP代理HTTP2请求路由的选择过程：

● 直连请求流程

● HTTP代理HTTPS流程

请求url： https://www.jianshu.com/p/63ba15d8877a

1、构造address对象

2、读取代理配置：resetNextProxy

3、解析目标服务器套接字地址：resetNextInetSocketAddress

4、选择Route创建RealConnection

5、确定协议

测试方法：

● 在PC端打开Charles，设置端口，如何设置代理，网上有教程，比较简单；

● 手机打开WIFI，选择连接的WIFI修改网络，在高级选项中设置中指定了代理服务器，ip为PC的ip，端口是Charles刚设置的端口；

● OkHttpClient不指定代理，发起请求。

1、构造address对象

2、读取代理配置：resetNextProxy

3、解析目标服务器套接字地址：resetNextInetSocketAddress

4、选择Route创建RealConnection

5、创建隧道

由于是代理https请求，需要用到隧道代理。

从图可以看出，建立隧道其实是发送CONNECT请求，header包括字段Proxy-Connection，目标主机名，请求内容类似：

6、确定协议，SSL握手

1、代理可分为HTTP代理和SOCK代理；

2、HTTP代理又分为普通代理和隧道代理；普通代理适合明文传输，即http请求；隧道代理仅转发TCP包，适合加密传输，即https/http2

3、SOCK代理又分为SOCK4和SOCK5，区别是后者支持UDP传输，适合代理聊天工具如QQ；

4、没有设置代理（OkHttpClient没有指定同时系统也没有设置），客户端直接与目标服务器建立TCP连接；

5、设置了代理，代理http请求时，客户端与代理服务器建立TCP连接，如果代理服务器是域名，则解释代理服务器域名，而目标服务器的域名由代理服务器解析；

6、设置了代理，代理https/http2请求时，客户端与代理服务器建立TCP连接，发送CONNECT请求与代理服务器建立隧道，并进行SSL握手，代理服务器不解析数据，仅转发TCP数据包。

如何正确使用 HTTP proxy

OkHttp3中的代理与路由

HTTP 代理原理及实现（一）

为了更好的指导部署与测试艺术升系统nginx网站服务器高性能同时下安全稳定运行,需要对nginx服务进行调优与加固

本次进行Nginx服务调优加固主要从以下几个部分：

本文档仅供内部使用，禁止外传，帮助研发人员，运维人员对系统长期稳定的运行提供技术文档参考。

Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx作为负载均衡服务器, Nginx 既可以在内部直接支持 Rails 和 PHP 程序对外进行服务，也可以支持作为 HTTP代理服务器对外进行服务。

Nginx版本选择:

项目结构:

Nginx文档帮助: http://nginx.org/en/docs/

Nginx首页地址目录: /usr/share/nginx/html

Nginx配置文件:

localtion 请求匹配的url实是一个正则表达式:

Nginx 匹配判断表达式:

例如,匹配末尾为如下后缀的静态并判断是否存在该文件, 如不存在则404。

查看可用模块编译参数：http://nginx.org/en/docs/configure.html

http_gzip模块

开启gzip压缩输出(常常是大于1kb的静态文件)，减少网络传输

http_fastcgi_module模块

nginx可以用来请求路由到FastCGI服务器运行应用程序由各种框架和PHP编程语言等。可以开启FastCGI的缓存功能以及将静态资源进行剥离，从而提高性能。

keepalive模块

长连接对性能有很大的影响，通过减少CPU和网络开销需要开启或关闭连接

http_ssl_module模块

Nginx开启支持Https协议的SSL模块

Linux内核参数部分默认值不适合高并发,Linux内核调优，主要涉及到网络和文件系统、内存等的优化，

下面是我常用的内核调优配置：

文件描述符

文件描述符是操作系统资源，用于表示连接、打开的文件，以及其他信息。NGINX 每个连接可以使用两个文件描述符。

例如如果NGINX充当代理时，通常一个文件描述符表示客户端连接，另一个连接到代理服务器，如果开启了HTTP 保持连接，这个比例会更低（译注：为什么更低呢）。

对于有大量连接服务的系统，下面的设置可能需要调整一下：

精简模块:Nginx由于不断添加新的功能，附带的模块也越来越多,建议一般常用的服务器软件使用源码编译安装管理

(1) 减小Nginx编译后的文件大小

(2) 指定GCC编译参数

修改GCC编译参数提高编译优化级别稳妥起见采用 -O2 这也是大多数软件编译推荐的优化级别。

GCC编译参数优化 [可选项] 总共提供了5级编译优化级别：

常用编译参数:

缓存和压缩与限制可以提高性能

NGINX的一些额外功能可用于提高Web应用的性能，调优的时候web应用不需要关掉但值得一提，因为它们的影响可能很重要。

简单示例:

1) 永久重定向

例如，配置 http 向 https 跳转 (永久)

nginx配置文件指令优化一览表

描述:Nginx因为安全配置不合适导致的安全问题,Nginx的默认配置中存在一些安全问题,例如版本号信息泄露、未配置使用SSL协议等。

对Nginx进行安全配置可以有效的防范一些常见安全问题，按照基线标准做好安全配置能够减少安全事件的发生,保证采用Nginx服务器系统应用安全运行

Nginx安全配置项：

温馨提示: 在修改相应的源代码文件后需重新编译。

设置成功后验证:

应配置非root低权限用户来运行nginx服务,设置如下建立Nginx用户组和用户，采用user指令指运行用户

加固方法:

我们应该为提供的站点配置Secure Sockets Layer Protocol (SSL协议)，配置其是为了数据传输的安全，SSL依靠证书来验证服务器的身份，并为浏览器和服务器之间的通信加密。

不应使用不安全SSLv2、SSLv3协议即以下和存在脆弱性的加密套件(ciphers), 我们应该使用较新的TLS协议也应该优于旧的,并使用安全的加密套件。

HTTP Referrer Spam是垃圾信息发送者用来提高他们正在尝试推广的网站的互联网搜索引擎排名一种技术，如果他们的垃圾信息链接显示在访问日志中，并且这些日志被搜索引擎扫描，则会对网站排名产生不利影响

加固方法:

当恶意攻击者采用扫描器进行扫描时候利用use-agent判断是否是常用的工具扫描以及特定的版本,是则返回错误或者重定向

Nginx支持webdav，虽然默认情况下不会编译。如果使用webdav，则应该在Nginx策略中禁用此规则。

加固方法: dav_methods 应设置为off

当访问一个特制的URL时，如"../nginx.status"，stub_status模块提供一个简短的Nginx服务器状态摘要,大多数情况下不应启用此模块。

加固方法：nginx.conf文件中stub_status不应设置为：on

如果在浏览器中出现Nginx自动生成的错误消息，默认情况下会包含Nginx的版本号,这些信息可以被攻击者用来帮助他们发现服务器的潜在漏洞

加固方法: 关闭"Server"响应头中输出的Nginx版本号将server_tokens应设置为：off

client_body_timeout设置请求体（request body）的读超时时间。仅当在一次readstep中，没有得到请求体，就会设为超时。超时后Nginx返回HTTP状态码408(Request timed out)。

加固方法：nginx.conf文件中client_body_timeout应设置为：10

client_header_timeout设置等待client发送一个请求头的超时时间（例如：GET / HTTP/1.1）。仅当在一次read中没有收到请求头，才会设为超时。超时后Nginx返回HTTP状态码408(Request timed out)。

加固方法：nginx.conf文件中client_header_timeout应设置为：10

keepalive_timeout设置与client的keep-alive连接超时时间。服务器将会在这个时间后关闭连接。

加固方法：nginx.conf文件中keepalive_timeout应设置为：55

send_timeout设置客户端的响应超时时间。这个设置不会用于整个转发器，而是在两次客户端读取操作之间。如果在这段时间内，客户端没有读取任何数据，Nginx就会关闭连接。

加固方法：nginx.conf文件中send_timeout应设置为：10

GET和POST是Internet上最常用的方法。Web服务器方法在RFC 2616中定义禁用不需要实现的可用方法。

加固方法:

limit_zone 配置项限制来自客户端的同时连接数。通过此模块可以从一个地址限制分配会话的同时连接数量或特殊情况。

加固方法：nginx.conf文件中limit_zone应设置为：slimits $binary_remote_addr 5m

该配置项控制一个会话同时连接的最大数量，即限制来自单个IP地址的连接数量。

加固方法：nginx.conf 文件中 limit_conn 应设置为: slimits 5

加固方法：

加固方法:

解决办法:

描述后端获取Proxy后的真实Client的IP获取需要安装--with-http_realip_module，然后后端程序采用JAVA(request.getAttribute("X-Real-IP"))进行获取

描述: 如果要使用geoip地区选择,我们需要再nginx编译时加入 --with-http_geoip_module 编译参数。

描述: 为了防止外部站点引用我们的静态资源，我们需要设置那些域名可以访问我们的静态资源。

描述: 下面收集了Web服务中常规的安全响应头, 它可以保证不受到某些攻击,建议在指定的 server{} 代码块进行配置。

描述: 为了防止某些未备案的域名或者恶意镜像站域名绑定到我们服务器上, 导致服务器被警告关停，将会对业务或者SEO排名以及企业形象造成影响，我们可以通过如下方式进行防范。

执行结果:

描述: 有时你的网站可能只需要被某一IP或者IP段的地址请求访问，那么非白名单中的地址访问将被阻止访问, 我们可以如下配置

常用nginx配置文件解释：

(1) 阿里巴巴提供的Concat或者Google的PageSpeed模块实现这个合并文件的功能。

(2) PHP-FPM的优化

如果您高负载网站使用PHP-FPM管理FastCGI对于PHP-FPM的优化非常重要

(3) 配置Resin on Linux或者Windows为我们可以打开 resin-3.1.9/bin/httpd.sh 在不影响其他代码的地方加入:-Dhttps.protocols=TLSv1.2, 例如

原文地址: https://blog.weiyigeek.top/2019/9-2-122.html

---