首先我们要先了解UDP是什么~
UDP中文名：用户数据报协议（User Datagram Protocol）,是 OSI参考模型中的传输层协议，它与TCP协议一样用于处理数据包，是一种无连接的传输层协议。UDP有不断提供数据包分组、组装和不能对数据包进行排序，也就是说，当报文发送之后无法得知是否安全到达，是一种提供面向事务简单不可靠信息传送服务。
由于UDP的不可靠，因此欺骗UDP包相对容易，与UDP相关的服务面临着更大的危险。DDoS攻击的目的只有一个，但实现的方式有两种，一种是将你的带宽塞满，一种是让你的服务器资源耗尽。而使用UDP协议的业务较为容易受到UDP流量攻击。
UDP协议适用于对网络质量要求不高，对高速传输和对实时性有较高要求的通行或者广播通信。比如日常生活中的：QQ语音，视频电话，现场直播，游戏等场景。
通过对UDP协议的了解，大家应该知道，大部分攻击都来源于海外，因为海外流量的成本相对于国内会低一点，一旦发起攻击，并不容易找到源头，因此封掉UDP是一个不错的选择，前提是不需要用到UDP协议。
工作中遇到一个 docker 容器下 UDP 协议网络不通的问题，困扰了很久，也比较有意思，所以想写下来和大家分享。
我们有个应用是基于 UDP 协议的，部署上去发现无法工作，但是换成 TCP 协议是可以的（应用同时支持 UDP、TCP 协议，切换成 TCP 模式发现一切正常）。
虽然换成 TCP 能解决问题，但是我们还是想知道到底 UDP 协议在容器网络模式下为什么会出现这个问题，以防止后面其他 UDP 应用会有异常。
这个问题抽象出来是这样的：如果有 UDP 服务运行在宿主机上（或者运行在网络模型为 host 的容器里），并且监听在 0.0.0.0 地址（也就是所有的 ip 地址），从运行在 docker bridge（网桥为 docker0） 网络的容器运行客户端访问服务，两者通信有问题。
注意以上的的限制条件，通过测试，我们发现下来几种情况都是正常的：
这个问题在 docker 上也有 issue 记录，但是目前并没有合理的解决方案。
https://github.com/moby/moby/issues/15127
https://github.com/iotaledger/iri/issues/961
这篇文章就分析一下出现这个问题的原因，希望给同样遇到这个问题的读者提供些帮助。
这个问题很容易重现，我的实验是在 ubuntu16.04 下用 netcat 命令完成的，其他系统应该类似。
在宿主机上通过 nc 监听 56789 端口，然后使用 bridge 网络模式，run 一个容器，在容器里面使用 nc 发数据。
第一个报文是能发送出去的，但是以后的报文虽然在网络上能看到，但是对方无法接收。
在宿主机运行 nc UDP 服务器（-u 表示 UDP 协议，-l 表示监听的端口）
注：默认没有指定绑定ip，就是监听在0.0.0.0上。
然后在同一宿主机上，启动一个容器，运行客户端：
nc 的通信是双方的，不管对方输入什么字符，回车后对方就能立即收到。
但是在这个模式下，客户端第一次输入对方能够收到，后续的报文对方都收不到。
在这个实验中，容器使用的是 docker 的默认网络，容器的 ip 是 172.17.0.3，通过 veth pair（图中没有显示）连接到虚拟网桥 docker0（ip 地址为 172.17.0.1），宿主机本身的网络为 eth0，其 ip 地址为 172.16.13.13。
遇到这种疑难杂症，第一个想到的抓包。
我们需要在 docker0 上抓包，因为这是报文必经过的地方。
通过过滤容器的 ip 地址，很容器找到感兴趣的报文：
为了模拟多数应用一问一答的通信方式，我们一共发送三个报文，并用 tcpdump 抓取 docker0 接口上的报文：
抓包的结果如下，可以发现第一个报文发送出去没有任何问题。
UDP 是没有 ACK 报文的，所以客户端无法知道对方有没有收到，这里说的没有问题没有看到对应的 ICMP 差错报文。
但是第二个报文从服务端发送的报文，对方会返回一个 ICMP 告诉端口 38908 不可达；第三个报文从客户端发送的报文也是如此。以后的报文情况类似，双方再也无法进行通信了。
而此时主机上 UDP nc 服务器并没有退出，使用 ss -uan | grep 56789 可能看到它仍然在监听着该端口。
从网络报文的分析中可以看到服务端返回的报文源地址不是我们预想的 eth0 地址，而是 docker0 的地址，而客户端直接认为该报文是非法的，返回了 ICMP 的报文给对方。
那么问题的原因也可以分为两个部分：
第一个问题的关键词是：UDP 和多网络接口。
因为如果主机上只有一个网络接口，发出去的报文源地址一定不会有错；而我们也测试过 TCP 协议是能够处理这个问题的。
通过搜索，发现这确实是个已知的问题。
这个问题可以归结为一句话：UDP 在多网卡的情况下，可能会发生【服务器端】【源地址】不对的情况，这是内核选路的结果。
为什么 UDP 和 TCP 有不同的选路逻辑呢？
因为 UDP 是无状态的协议，内核不会保存连接双方的信息，因此每次发送的报文都认为是独立的，socket 层每次发送报文默认情况不会指明要使用的源地址，只是说明对方地址。
因此，内核会为要发出去的报文选择一个 ip，这通常都是报文路由要经过的设备 ip 地址。
那么，为什么 dnsmasq 服务没有这个问题呢？
于是我使用 strace 工具抓取了 dnsmasq 和出问题应用的网络 socket 系统调用，来查看它们两个到底有什么区别。
dnsmasq 在启动阶段监听了 UDP 和 TCP 的 54 端口
因为是在本地机器上测试的，为了防止和本地 DNS 监听的DNS端口冲突，我选择了 54 而不是标准的 53 端口：
比起 TCP，UDP 部分少了 listen，但是多个 setsockopt(4, SOL_IP, IP_PKTINFO, [1], 4) 这句。
到底这两点和我们的问题是否有关，先暂时放着，继续看传输报文的部分。
dnsmasq 收包和发包的系统调用，直接使用 recvmsg 和 sendmsg 系统调用：
而出问题的 UDP 应用 strace 结果如下：
其对应的逻辑是这样的：使用 ipv6 绑定在 0.0.0.0 和 6088 端口，调用 getsockname 获取当前 socket 绑定的端口信息，数据传输过程使用的是 recvfrom 和 sendto。
对比下来，两者的不同有几点：
因为是在传输数据的时候出错的，因此第一个疑点是 sendmsg 和 sendto 的某些区别导致选择源地址有不同，通过 man sendto 可以知道 sendmsg 包含了更多的控制信息在 msghdr。
一个合理的猜测是 msghdr 中包含了内核选择源地址的信息！
通过查找，发现 IP_PKTINFO 这个选项就是让内核在 socket 中保存 IP 报文的信息，当然也包括了报文的源地址和目的地址。 IP_PKTINFO 和 msghdr 的关系可以在这个 stackoverflow 中找到：
https://stackoverflow.com/questions/3062205/setting-the-source-ip-for-a-udp-socket
而 man 7 ip 文档中也说明了 IP_PKTINFO 是怎么控制源地址选择的：
如果 ipi_spec_dst 和 ipi_ifindex 不为空，它们都能作为源地址选择的依据，而不是让内核通过路由决定。
也就是说，通过设置 IP_PKTINFO socket 选项为 1，然后使用 recvmsg 和 sendmsg 传输数据就能保证源地址选择符合我们的期望。
这也是 dnsmasq 使用的方案，而出问题的应用是因为使用了默认的 recvfrom 和 sendto。
为什么内核会把源地址和之前不同的报文丢弃，认为它是非法的？
因为我们前面已经说过，UDP 协议是无连接的，默认情况下 socket 也不会保存双方连接的信息。即使服务端发送报文的源地址有误，只要对方能正常接收并处理，也不会导致网络不通。
但是 conntrack 不是这样，内核的 netfilter 模块会保存连接的状态，并作为防火墙设置的依据。
它保存的 UDP 连接，只是简单记录了主机上本地 ip 和端口，和对端 ip 和端口，并不会保存更多的内容。
关于 这块可参考 intables info 网站的文章：
http://www.iptables.info/en/connection-state.html#UDPCONNECTIONS
在找到根源之前，我们曾经尝试过用 SNAT 来修改服务端应答报文的源地址，期望能够修复该问题，但是却发现这种方法行不通，为什么呢？
因为 SNAT 是在 netfilter 最后做的，在之前 netfilter 的 conntrack 因为不认识该 connection，直接丢弃了，所以即使添加了 SNAT 也是无法工作的。
那能不能把 conntrack 功能去掉呢？比如解决方案：
答案也是否定的，因为 NAT 需要 conntrack 来做翻译工作，如果去掉 conntrack 等于 SNAT 完全没用。
知道了问题的原因，解决方案也就很容易找到。
nc 可以跟两个参数，分别代表 ip 和 端口，表示服务端监听在某个特定 ip 上。
如果接收到的报文目的地址不是 172.16.13.13，也会被内核直接丢弃，这种情况下，服务端和客户端也能正常通信。
docker 容器网络下 UDP 协议的一个问题
https://cizixs.com/2017/08/21/docker-udp-issue/
Setting the source IP for a UDP socket
https://stackoverflow.com/questions/3062205/setting-the-source-ip-for-a-udp-socket
LinuxC下获取UDP包中的路由目的IP地址和头标识目的地址
https://www.cnblogs.com/kissazi2/p/3158603.html
Source IP address selection
https://www.ibm.com/docs/en/zos/2.1.0?topic=profiletcpip-source-ip-address-selection
UDP recvmsg 返回目的地址和目的接口信息
http://blog.chinaunix.net/uid-16813896-id-4593514.html
告知你不为人知的 UDP：连接性和负载均衡
https://cloud.tencent.com/developer/article/1004554
告知你不为人知的 UDP：疑难杂症和使用
https://cloud.tencent.com/developer/article/1004554
昨天，接同事电话，说帮忙协查一个UDP抓不到包的问题，他描述的问题是A主机通过UDP协议向B主机的10001端口发送syslog报文，结果我们的采集程序flume收不到数据；但是C主机向B主机的10002端口也同样发送syslog报文，同一个flume采集程序却可以正常收到报文。B主机双网卡分别为：42这个ip，网口是eth0；72这个ip，网口是eth1。
B对外网用的IP是一个134网段的IP。
A主机和C主机均使用134这个网段的IP向B主机发送报文。
示意图如下：
我第一个反应是不是防火墙的问题。登录到主机后，因为是centos7的版本，所以通过防火墙状态查看命令，查看防火墙已经关闭。
继续分析，接着考虑是不是防火墙的问题，所以在接收主机B主机上用tcpdump进行抓包，命令如下：
发现报文没问题，接着加上-vv选项，可以看到解析出来的信息，也正是我们要发送的报文，说明中间网络是没问题的。
nc可以说是网络测试的神器，可以方面的建立监听端口，做服务器；可以做客户端测试服务器。
具体测试步骤如下：
1 把B上的flume监听程序停止，然后在B主机上 运行一下命令：
结果：收不到任何消息！！！ 有点吃惊，都可以抓到包了，防火墙也是关闭的为什么收不到那。
不服气，继续用nc，在B主机随便启动一个10009端口：
在A服务器上 通过nc命令连接测试：
输入报文进行测试，仍然收不到报文。
2 看下系统日志，发现没有报错。
进入深深的思考中...
说什么，咱们也不能认怂啊，打电话问了下大师，大师说重启下防火墙吧。
所以第二天一大早联系上同事，继续重启防火墙，发现故障依旧。
接着看下flume启动的监听端口情况：
监听的ip配置为0.0.0.0 ，端口绑定的是10001 ，没问题。
虽然B主机有两块网卡，两个IP，但是我们监听了所有IP啊，谨慎一点，还是把IP配置成抓包抓到的42这个IP，结果故障依旧。
继续在B主机上抓包，发现A主机过来的IP是10网段，C主机过来的IP是134网段，那说明源IP网段不一样，会不会因为网段问题造成的这个问题。
鬼使神差地，用 route -n 看了下路由信息，发现：
10网段的目标IP，用的是eth1 这个网口，但是这个eth1的网口配置的ip是72 ip和A向B发送的目标IP不同，A向B发送的目标Ip为34这个ip。
下面把UDP包的流转过程梳理下：
从B主机（IP:10.x.x.x）向A主机的134.x.x.x 发送UDP报文，UDP报文经过中间的NAT转换后目标IP变成了x.x.x.42 通过网口eth0进入到B主机。
B主机访问10.x.x.x 时候，按照现有的route配置，是通过eth1 网口出去的，如果要是有回包的话，那么接收包的网口eth0和回包的网口eth1 不是同一个网卡！
总觉得不太对，我手工删除老的10.x.x.x 路由，并且添加了下新的路由，新路由走eth0，命令如下：
接着再次测试nc收包情况，却可以收到了，flume也同样可以收到了，至此问题解决。
但是有点想不通，按道理udp报文是不会受到目录路由影响的，有大神知道的，请告知。
欢迎分享，转载请注明来源：夏雨云
微信扫一扫
支付宝扫一扫
评论列表（0条）