5-ipv6服务器之-dns

ubuntu下面安装dns服务器使用dnsmasq

dnsmasq是一个Linux平台下的轻量级DNS 代理软件，我们只将其配置成一个简单的本地DNS Server。另外此软件最新版本含有DHCP Server以及TFTP Server的功能，这些功能默认都是关闭的， 根据依赖关系可能会安装其他包。

（如dnsmasq-base等， 但Ubuntu 10.04 Desktop已默认安装过，但在安装时可能会自动升级dnsmasq-base）。

打开文件/etc/dnsmasq.conf（安装后默认此配置文件内的所有参数都被注释掉）， 找到参数resolv-file和addn-hosts， 去掉注释符号#后修改成如下值。

此处resolve-file指定dnsmasq从哪里获取上行DNS Server， 默认是从/etc/resolv.conf获取。

因为dnsmasq本是一个DNS代理软件而非Server， 我们只是利用dnsmasq的缓存功能来实现DNS Server， 故而要将上行server指定为本机地址， 在文件/etc/dnsmasq/dnsmasq.resolv中指定nameserver为127.0.0.1即可。

addn-hosts指定dnsmasq从哪个文件中读取“地址 域名”记录， 默认是系统文件/etc/hosts， 此处我们指定从自定义文件/etc/dnsmasq/dnsmasq.hosts中读取。

创建文件夹/etc/dnsmasq/（这里的文件夹是上一步中地址的两个文件所在目录， 可以自己任意指定， 但要和上一步中的保持一致）， 并添加文件/etc/dnsmasq/dnsmasq.resolv和/etc/dnsmasq/dnsmasq.hosts。

添加一行内容到/etc/dnsmasq/dnsmasq.resolv文件中

添加自定义的“地址 域名”记录到文件/etc/dnsmasq/dnsmasq.hosts中， 支持IPv6地址， 例如：

可以任意添加自己的本地DNS Server可解析的“地址 域名”记录， 注意必须重新启动dnsmasq才可以使更新生效（也可以发送信号SIGHUP给dnsmasq进程， 具体请参考dnsmasq帮助文档， Shell命令man dnsmasq）。

实际上dnsmasq是将这些记录读取到内存中缓存起来（默认最多可以记录150条记录， 可以自己在配置文件/etc/dnsmasq.conf中修改）， 收到DNS查询请求时从自身的缓存中直接查找答复。

更多功能及设置请参考dnsmasq的帮助文档或者查看配置文件/etc/dnsmasq中的注释说明内容。

如果启动DNS Server失败请查看系统log（/var/log/syslog），

使用nslookup直接测试

ipv4地址

ipv6地址

首先，查看无线路由器的底部标签上的默认设置的IP地址，登录默认用户名和密码：

在浏览器上输入路由器管理Ip地址，在弹出的窗口上输入默认的账号和密码后，单击“确定”：

在路由器管理页面的左侧，依次单击“无线设置，无线安全设置”：

在右侧的页面上选择“WPA-PSK/WPA2-PSK”，然后在下面的PSK密码处输入要共享的无线网络密码：

在手机上单击Menu键，然后选择“设置”：

单击“无线和网络”：

勾选了Wi-Fi后，单击“Wi-Fi设置”：

单击Wi-Fi网络下的TP-LING_4AEB32：

输入密码后，单击“连接”：

稍等片刻，手机就可以通过密码连接到wifi共享网络上：

工作中遇到一个 docker 容器下 UDP 协议网络不通的问题，困扰了很久，也比较有意思，所以想写下来和大家分享。

我们有个应用是基于 UDP 协议的，部署上去发现无法工作，但是换成 TCP 协议是可以的（应用同时支持 UDP、TCP 协议，切换成 TCP 模式发现一切正常）。

虽然换成 TCP 能解决问题，但是我们还是想知道到底 UDP 协议在容器网络模式下为什么会出现这个问题，以防止后面其他 UDP 应用会有异常。

这个问题抽象出来是这样的：如果有 UDP 服务运行在宿主机上（或者运行在网络模型为 host 的容器里），并且监听在 0.0.0.0 地址（也就是所有的 ip 地址），从运行在 docker bridge（网桥为 docker0） 网络的容器运行客户端访问服务，两者通信有问题。

注意以上的的限制条件，通过测试，我们发现下来几种情况都是正常的：

这个问题在 docker 上也有 issue 记录，但是目前并没有合理的解决方案。

https://github.com/moby/moby/issues/15127

https://github.com/iotaledger/iri/issues/961

这篇文章就分析一下出现这个问题的原因，希望给同样遇到这个问题的读者提供些帮助。

这个问题很容易重现，我的实验是在 ubuntu16.04 下用 netcat 命令完成的，其他系统应该类似。

在宿主机上通过 nc 监听 56789 端口，然后使用 bridge 网络模式，run 一个容器，在容器里面使用 nc 发数据。

第一个报文是能发送出去的，但是以后的报文虽然在网络上能看到，但是对方无法接收。

在宿主机运行 nc UDP 服务器（-u 表示 UDP 协议，-l 表示监听的端口）

注：默认没有指定绑定ip，就是监听在0.0.0.0上。

然后在同一宿主机上，启动一个容器，运行客户端：

nc 的通信是双方的，不管对方输入什么字符，回车后对方就能立即收到。

但是在这个模式下，客户端第一次输入对方能够收到，后续的报文对方都收不到。

在这个实验中，容器使用的是 docker 的默认网络，容器的 ip 是 172.17.0.3，通过 veth pair（图中没有显示）连接到虚拟网桥 docker0（ip 地址为 172.17.0.1），宿主机本身的网络为 eth0，其 ip 地址为 172.16.13.13。

遇到这种疑难杂症，第一个想到的抓包。

我们需要在 docker0 上抓包，因为这是报文必经过的地方。

通过过滤容器的 ip 地址，很容器找到感兴趣的报文：

为了模拟多数应用一问一答的通信方式，我们一共发送三个报文，并用 tcpdump 抓取 docker0 接口上的报文：

抓包的结果如下，可以发现第一个报文发送出去没有任何问题。

UDP 是没有 ACK 报文的，所以客户端无法知道对方有没有收到，这里说的没有问题没有看到对应的 ICMP 差错报文。

但是第二个报文从服务端发送的报文，对方会返回一个 ICMP 告诉端口 38908 不可达；第三个报文从客户端发送的报文也是如此。以后的报文情况类似，双方再也无法进行通信了。

而此时主机上 UDP nc 服务器并没有退出，使用 ss -uan | grep 56789 可能看到它仍然在监听着该端口。

从网络报文的分析中可以看到服务端返回的报文源地址不是我们预想的 eth0 地址，而是 docker0 的地址，而客户端直接认为该报文是非法的，返回了 ICMP 的报文给对方。

那么问题的原因也可以分为两个部分：

第一个问题的关键词是：UDP 和多网络接口。

因为如果主机上只有一个网络接口，发出去的报文源地址一定不会有错；而我们也测试过 TCP 协议是能够处理这个问题的。

通过搜索，发现这确实是个已知的问题。

这个问题可以归结为一句话：UDP 在多网卡的情况下，可能会发生【服务器端】【源地址】不对的情况，这是内核选路的结果。

为什么 UDP 和 TCP 有不同的选路逻辑呢？

因为 UDP 是无状态的协议，内核不会保存连接双方的信息，因此每次发送的报文都认为是独立的，socket 层每次发送报文默认情况不会指明要使用的源地址，只是说明对方地址。

因此，内核会为要发出去的报文选择一个 ip，这通常都是报文路由要经过的设备 ip 地址。

那么，为什么 dnsmasq 服务没有这个问题呢？

于是我使用 strace 工具抓取了 dnsmasq 和出问题应用的网络 socket 系统调用，来查看它们两个到底有什么区别。

dnsmasq 在启动阶段监听了 UDP 和 TCP 的 54 端口

因为是在本地机器上测试的，为了防止和本地 DNS 监听的DNS端口冲突，我选择了 54 而不是标准的 53 端口：

比起 TCP，UDP 部分少了 listen，但是多个 setsockopt(4, SOL_IP, IP_PKTINFO, [1], 4) 这句。

到底这两点和我们的问题是否有关，先暂时放着，继续看传输报文的部分。

dnsmasq 收包和发包的系统调用，直接使用 recvmsg 和 sendmsg 系统调用：

而出问题的 UDP 应用 strace 结果如下：

其对应的逻辑是这样的：使用 ipv6 绑定在 0.0.0.0 和 6088 端口，调用 getsockname 获取当前 socket 绑定的端口信息，数据传输过程使用的是 recvfrom 和 sendto。

对比下来，两者的不同有几点：

因为是在传输数据的时候出错的，因此第一个疑点是 sendmsg 和 sendto 的某些区别导致选择源地址有不同，通过 man sendto 可以知道 sendmsg 包含了更多的控制信息在 msghdr。

一个合理的猜测是 msghdr 中包含了内核选择源地址的信息！

通过查找，发现 IP_PKTINFO 这个选项就是让内核在 socket 中保存 IP 报文的信息，当然也包括了报文的源地址和目的地址。 IP_PKTINFO 和 msghdr 的关系可以在这个 stackoverflow 中找到：

https://stackoverflow.com/questions/3062205/setting-the-source-ip-for-a-udp-socket

而 man 7 ip 文档中也说明了 IP_PKTINFO 是怎么控制源地址选择的：

如果 ipi_spec_dst 和 ipi_ifindex 不为空，它们都能作为源地址选择的依据，而不是让内核通过路由决定。

也就是说，通过设置 IP_PKTINFO socket 选项为 1，然后使用 recvmsg 和 sendmsg 传输数据就能保证源地址选择符合我们的期望。

这也是 dnsmasq 使用的方案，而出问题的应用是因为使用了默认的 recvfrom 和 sendto。

为什么内核会把源地址和之前不同的报文丢弃，认为它是非法的？

因为我们前面已经说过，UDP 协议是无连接的，默认情况下 socket 也不会保存双方连接的信息。即使服务端发送报文的源地址有误，只要对方能正常接收并处理，也不会导致网络不通。

但是 conntrack 不是这样，内核的 netfilter 模块会保存连接的状态，并作为防火墙设置的依据。

它保存的 UDP 连接，只是简单记录了主机上本地 ip 和端口，和对端 ip 和端口，并不会保存更多的内容。

关于 这块可参考 intables info 网站的文章：

http://www.iptables.info/en/connection-state.html#UDPCONNECTIONS

在找到根源之前，我们曾经尝试过用 SNAT 来修改服务端应答报文的源地址，期望能够修复该问题，但是却发现这种方法行不通，为什么呢？

因为 SNAT 是在 netfilter 最后做的，在之前 netfilter 的 conntrack 因为不认识该 connection，直接丢弃了，所以即使添加了 SNAT 也是无法工作的。

那能不能把 conntrack 功能去掉呢？比如解决方案：

答案也是否定的，因为 NAT 需要 conntrack 来做翻译工作，如果去掉 conntrack 等于 SNAT 完全没用。

知道了问题的原因，解决方案也就很容易找到。

nc 可以跟两个参数，分别代表 ip 和 端口，表示服务端监听在某个特定 ip 上。

如果接收到的报文目的地址不是 172.16.13.13，也会被内核直接丢弃，这种情况下，服务端和客户端也能正常通信。

docker 容器网络下 UDP 协议的一个问题

https://cizixs.com/2017/08/21/docker-udp-issue/

Setting the source IP for a UDP socket

https://stackoverflow.com/questions/3062205/setting-the-source-ip-for-a-udp-socket

LinuxC下获取UDP包中的路由目的IP地址和头标识目的地址

https://www.cnblogs.com/kissazi2/p/3158603.html

Source IP address selection

https://www.ibm.com/docs/en/zos/2.1.0?topic=profiletcpip-source-ip-address-selection

UDP recvmsg 返回目的地址和目的接口信息

http://blog.chinaunix.net/uid-16813896-id-4593514.html

告知你不为人知的 UDP：连接性和负载均衡

https://cloud.tencent.com/developer/article/1004554

告知你不为人知的 UDP：疑难杂症和使用

https://cloud.tencent.com/developer/article/1004554

---