centos7.4内核调优，tcp单服务器万级并发

在使用linux的centos7.4遇到的各种坑，其中一个项目采用四层架构，配置层，平台层，逻辑服务器管理层和集体逻辑服务器层的，一个整体的 游戏 项目，其中，作为整个项目负责人和架构打架着，项目运行一年来，遇到了各种各样怪异的问题。其中就是tcp缓存区堵塞的问题，刚开始时候，以为是代码问题，花了半年的时间来排除，验证，把能想到的问题都做了一个遍，问题还是存在。最后应该几个调优和验证。附上算比较稳定centos7.4的内核调优详细参数如下： 内核配置文件：/etc/sysctl.conf net.ipv4.tcp_mem = 768432 2097152 15242880 net.ipv4.tcp_wmem = 40960 163840 4194304 net.ipv4.tcp_rmem = 40960 873800 4194304 #net.core.somaxconn=6553600 net.core.wmem_default = 8388608 net.core.rmem_default = 8388608 net.core.rmem_max = 524288000 net.core.wmem_max = 524288000 net.ipv4.tcp_syncookies=1 net.ipv4.tcp_max_syn_backlog=81920 net.ipv4.tcp_timestamps=0 # 参数的值决定了内核放弃链接之前发送SYN+ACK包的数量，该参数对应系统路径为：/proc/sys/net/ipv4/tcp_synack_retries，默认是2 net.ipv4.tcp_synack_retries=3 # 表示内核放弃建立链接之前发送SYN包的数量，该参数对应系统路径为：/proc/sys/net/ipv4/tcp_syn_retries，默认是6 net.ipv4.tcp_syn_retries=3 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 300 net.ipv4.ip_local_port_range = 20000 65000 net.ipv4.tcp_max_tw_buckets = 6000 net.ipv4.route.max_size = 5242880 kernel.sem=250 65536 100 2048 kernel.msgmnb = 4203520 kernel.msgmni = 64 kernel.msgmax = 65535 #设置最大内存共享段大小bytes kernel.shmmax = 68719476736 kernel.shmall = 4294967296 kernel.shmmni = 655360 net.ipv4.tcp_tw_reuse=1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_no_metrics_save=1 # 开启SYN洪水攻击保护 kernel.core_uses_pid = 1 net.ipv4.conf.lo.arp_announce=2 net.ipv4.tcp_sack = 1 kernel.randomize_va_space=1 net.nf_conntrack_max = 25000000 net.netfilter.nf_conntrack_max = 25000000 net.netfilter.nf_conntrack_tcp_timeout_established = 180 #net.ipv4.netfilter.ip_conntrack_max=1000000 net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120 net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60 net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120 #避免放大攻击 net.ipv4.icmp_echo_ignore_broadcasts=1 #关闭ipv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 # 开启恶意icmp错误消息保护 net.ipv4.icmp_ignore_bogus_error_responses = 1 #关闭路由转发 net.ipv4.ip_forward = 0 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.default.send_redirects = 0 #开启反向路径过滤 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 #处理无源路由的包 net.ipv4.conf.all.accept_source_route = 0 net.ipv4.conf.default.accept_source_route = 0 #关闭sysrq功能 kernel.sysrq = 0 #每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目 net.core.netdev_max_backlog = 262144 #限制仅仅是为了防止简单的DoS 攻击 net.ipv4.tcp_max_orphans = 3276800 # 确保无人能修改路由表 net.ipv4.conf.all.accept_redirects = 0 net.ipv4.conf.default.accept_redirects = 0 net.ipv4.conf.all.secure_redirects = 0 net.ipv4.conf.default.secure_redirects = 0 vm.swappiness = 0 #决定检查过期多久邻居条目 net.ipv4.neigh.default.gc_stale_time=120 fs.file-max = 40000500 fs.nr_open = 40000500 kernel.perf_cpu_time_max_percent=60 kernel.perf_event_max_sample_rate=6250 kernel.sched_migration_cost_ns=5000000 net.core.optmem_max= 25165824 vm.max_map_count=262144 net.core.somaxconn = 65535 #使用arp_announce / arp_ignore解决ARP映射问题 net.ipv4.conf.default.arp_announce = 2net.ipv4.conf.all.arp_announce=2net.ipv4.conf.lo.arp_announce=2

作为高性能WEB服务器，只调整Nginx本身的参数是不行的，因为Nginx服务依赖于高性能的操作系统。

以下为常见的几个Linux内核参数优化方法。

net.ipv4.tcp_max_tw_buckets

对于tcp连接，服务端和客户端通信完后状态变为timewait，假如某台服务器非常忙，连接数特别多的话，那么这个timewait数量就会越来越大。

毕竟它也是会占用一定的资源，所以应该有一个最大值，当超过这个值，系统就会删除最早的连接，这样始终保持在一个数量级。

这个数值就是由net.ipv4.tcp_max_tw_buckets这个参数来决定的。

CentOS7系统，你可以使用sysctl -a |grep tw_buckets来查看它的值，默认为32768，

你可以适当把它调低，比如调整到8000，毕竟这个状态的连接太多也是会消耗资源的。

但你不要把它调到几十、几百这样，因为这种状态的tcp连接也是有用的，

如果同样的客户端再次和服务端通信，就不用再次建立新的连接了，用这个旧的通道，省时省力。

net.ipv4.tcp_tw_recycle = 1

该参数的作用是快速回收timewait状态的连接。上面虽然提到系统会自动删除掉timewait状态的连接，但如果把这样的连接重新利用起来岂不是更好。

所以该参数设置为1就可以让timewait状态的连接快速回收，它需要和下面的参数配合一起使用。

net.ipv4.tcp_tw_reuse = 1

该参数设置为1，将timewait状态的连接重新用于新的TCP连接，要结合上面的参数一起使用。

net.ipv4.tcp_syncookies = 1

tcp三次握手中，客户端向服务端发起syn请求，服务端收到后，也会向客户端发起syn请求同时连带ack确认，

假如客户端发送请求后直接断开和服务端的连接，不接收服务端发起的这个请求，服务端会重试多次，

这个重试的过程会持续一段时间（通常高于30s），当这种状态的连接数量非常大时，服务器会消耗很大的资源，从而造成瘫痪，

正常的连接进不来，这种恶意的半连接行为其实叫做syn flood攻击。

设置为1，是开启SYN Cookies，开启后可以避免发生上述的syn flood攻击。

开启该参数后，服务端接收客户端的ack后，再向客户端发送ack+syn之前会要求client在短时间内回应一个序号，

如果客户端不能提供序号或者提供的序号不对则认为该客户端不合法，于是不会发ack+syn给客户端，更涉及不到重试。

net.ipv4.tcp_max_syn_backlog

该参数定义系统能接受的最大半连接状态的tcp连接数。客户端向服务端发送了syn包，服务端收到后，会记录一下，

该参数决定最多能记录几个这样的连接。在CentOS7，默认是256，当有syn flood攻击时，这个数值太小则很容易导致服务器瘫痪，

实际上此时服务器并没有消耗太多资源（cpu、内存等），所以可以适当调大它，比如调整到30000。

net.ipv4.tcp_syn_retries

该参数适用于客户端，它定义发起syn的最大重试次数，默认为6，建议改为2。

net.ipv4.tcp_synack_retries

该参数适用于服务端，它定义发起syn+ack的最大重试次数，默认为5，建议改为2，可以适当预防syn flood攻击。

net.ipv4.ip_local_port_range

该参数定义端口范围，系统默认保留端口为1024及以下，以上部分为自定义端口。这个参数适用于客户端，

当客户端和服务端建立连接时，比如说访问服务端的80端口，客户端随机开启了一个端口和服务端发起连接，

这个参数定义随机端口的范围。默认为32768 61000，建议调整为1025 61000。

net.ipv4.tcp_fin_timeout

tcp连接的状态中，客户端上有一个是FIN-WAIT-2状态，它是状态变迁为timewait前一个状态。

该参数定义不属于任何进程的该连接状态的超时时间，默认值为60，建议调整为6。

net.ipv4.tcp_keepalive_time

tcp连接状态里，有一个是established状态，只有在这个状态下，客户端和服务端才能通信。正常情况下，当通信完毕，

客户端或服务端会告诉对方要关闭连接，此时状态就会变为timewait，如果客户端没有告诉服务端，

并且服务端也没有告诉客户端关闭的话（例如，客户端那边断网了），此时需要该参数来判定。

比如客户端已经断网了，但服务端上本次连接的状态依然是established，服务端为了确认客户端是否断网，

就需要每隔一段时间去发一个探测包去确认一下看看对方是否在线。这个时间就由该参数决定。它的默认值为7200秒，建议设置为30秒。

net.ipv4.tcp_keepalive_intvl

该参数和上面的参数是一起的，服务端在规定时间内发起了探测，查看客户端是否在线，如果客户端并没有确认，

此时服务端还不能认定为对方不在线，而是要尝试多次。该参数定义重新发送探测的时间，即第一次发现对方有问题后，过多久再次发起探测。

默认值为75秒，可以改为3秒。

net.ipv4.tcp_keepalive_probes

第10和第11个参数规定了何时发起探测和探测失败后再过多久再发起探测，但并没有定义一共探测几次才算结束。

该参数定义发起探测的包的数量。默认为9，建议设置2。

设置和范例

在Linux下调整内核参数，可以直接编辑配置文件/etc/sysctl.conf，然后执行sysctl -p命令生效

首先要知道一点所有的TCP/IP的参数修改是临时的，因为它们都位于/PROC/SYS/NET目录下，如果想使参数长期保存，可以通过编辑/ETC/SYSCTL.CONF文件来实现，这里不做详细说明，只针对Linux的TCPIP内核参数优化列举相关参数：

1、为自动调优定义socket使用的内存

2、默认的TCP数据接收窗口大小（字节）

3、最大的TCP数据接收窗口

4、默认的TCP发送窗口大小

5、最大的TCP数据发送窗口

6、在每个网络接口接收数据包的速率比内核处理这些包速率快时，允许送到队列的数据包最大数目

7、定义了系统中每一个端口最大的监听队列长度

8、探测消息未获得相应时，重发该消息的间隔时间

9、在认定tcp连接失效之前，最多发送多少个keepalive探测消息等。

相关优化参数代码：

sh#  net.core.wmem_default 发送缓存区预留内存默认大小 默认值 16k #  net.core.rmem_default 接受缓存区预留内存默认大小 默认值 16k #  net.core.wmem_max 发送缓存区预留内存最大值 默认值 128k #  net.core.rmem_max 接受缓存区预留内存最大值 默认值 128k #  net.unix.max_dgram_qlen 进程间通信发送数据, 默认10 #  net.ipv4.tcp_syncookies #  net.ipv4.syn_retries #  net.ipv4.tcp_fin_timeout 如果socket连接由本端关闭，则保持在FIN-WAIT-2状态的时间 #  net.ipv4.tcp_keepalive_time 当keepalive起作用的时候，tcp发送keepalive消息的频度，默认2小时 #  net.ipv4.route_max_size 路由缓存最大值

---