单台服务器上的并发TCP连接数可以有多少

1、在linux下，一个进程而言最多只能打开1024个文件，所以采用此默认配置最多也就可以并发上千个TCP连接。而通过临时修改：ulimit -n 1000000，就可以达到100万个TCP连接。但是这种临时修改只对当前登录用户目前的使用环境有效，系统重启或用户退出后就会失效。

2、端口限制：操作系统上端口号1024以下是系统保留的，从1024-65535是用户使用的。由于每个TCP连接都要占一个端口号，所以我们最多可以有60000多个并发连接。

3、因此最大tcp连接为客户端ip数×客户端port数，对IPV4，不考虑ip地址分类等因素，最大tcp连接数约为2的32次方（ip数）×2的16次方（port数），也就是server端单机最大tcp连接数约为2的48次方。

4、上面给出的结论都是理论上的单机TCP并发连接数，实际上单机并发连接数肯定要受硬件资源（内存）、网络资源（带宽）的限制，至少对现在可以做到数十万级的并发了。

在使用linux的centos7.4遇到的各种坑，其中一个项目采用四层架构，配置层，平台层，逻辑服务器管理层和集体逻辑服务器层的，一个整体的 游戏 项目，其中，作为整个项目负责人和架构打架着，项目运行一年来，遇到了各种各样怪异的问题。其中就是tcp缓存区堵塞的问题，刚开始时候，以为是代码问题，花了半年的时间来排除，验证，把能想到的问题都做了一个遍，问题还是存在。最后应该几个调优和验证。附上算比较稳定centos7.4的内核调优详细参数如下：

内核配置文件：/etc/sysctl.conf

net.ipv4.tcp_mem = 768432 2097152 15242880

net.ipv4.tcp_wmem = 40960 163840 4194304

net.ipv4.tcp_rmem = 40960 873800 4194304

#net.core.somaxconn=6553600

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 524288000

net.core.wmem_max = 524288000

net.ipv4.tcp_syncookies=1

net.ipv4.tcp_max_syn_backlog=81920

net.ipv4.tcp_timestamps=0

# 参数的值决定了内核放弃链接之前发送SYN+ACK包的数量，该参数对应系统路径为：/proc/sys/net/ipv4/tcp_synack_retries，默认是2

net.ipv4.tcp_synack_retries=3

# 表示内核放弃建立链接之前发送SYN包的数量，该参数对应系统路径为：/proc/sys/net/ipv4/tcp_syn_retries，默认是6

net.ipv4.tcp_syn_retries=3

net.ipv4.tcp_fin_timeout = 30

net.ipv4.tcp_keepalive_time = 300

net.ipv4.ip_local_port_range = 20000 65000

net.ipv4.tcp_max_tw_buckets = 6000

net.ipv4.route.max_size = 5242880

kernel.sem=250 65536 100 2048

kernel.msgmnb = 4203520

kernel.msgmni = 64

kernel.msgmax = 65535

#设置最大内存共享段大小bytes

kernel.shmmax = 68719476736

kernel.shmall = 4294967296

kernel.shmmni = 655360

net.ipv4.tcp_tw_reuse=1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_window_scaling = 1

net.ipv4.tcp_no_metrics_save=1

# 开启SYN洪水攻击保护

kernel.core_uses_pid = 1

net.ipv4.conf.lo.arp_announce=2

net.ipv4.tcp_sack = 1

kernel.randomize_va_space=1

net.nf_conntrack_max = 25000000

net.netfilter.nf_conntrack_max = 25000000

net.netfilter.nf_conntrack_tcp_timeout_established = 180

#net.ipv4.netfilter.ip_conntrack_max=1000000

net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120

net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60

net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120

#避免放大攻击

net.ipv4.icmp_echo_ignore_broadcasts=1

#关闭ipv6

net.ipv6.conf.all.disable_ipv6 = 1

net.ipv6.conf.default.disable_ipv6 = 1

# 开启恶意icmp错误消息保护

net.ipv4.icmp_ignore_bogus_error_responses = 1

#关闭路由转发

net.ipv4.ip_forward = 0

net.ipv4.conf.all.send_redirects = 0

net.ipv4.conf.default.send_redirects = 0

#开启反向路径过滤

net.ipv4.conf.all.rp_filter = 1

net.ipv4.conf.default.rp_filter = 1

#处理无源路由的包

net.ipv4.conf.all.accept_source_route = 0

net.ipv4.conf.default.accept_source_route = 0

#关闭sysrq功能

kernel.sysrq = 0

#每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目

net.core.netdev_max_backlog = 262144

#限制仅仅是为了防止简单的DoS 攻击

net.ipv4.tcp_max_orphans = 3276800

# 确保无人能修改路由表

net.ipv4.conf.all.accept_redirects = 0

net.ipv4.conf.default.accept_redirects = 0

net.ipv4.conf.all.secure_redirects = 0

net.ipv4.conf.default.secure_redirects = 0

vm.swappiness = 0

#决定检查过期多久邻居条目

net.ipv4.neigh.default.gc_stale_time=120

fs.file-max = 40000500

fs.nr_open = 40000500

kernel.perf_cpu_time_max_percent=60

kernel.perf_event_max_sample_rate=6250

kernel.sched_migration_cost_ns=5000000

net.core.optmem_max= 25165824

vm.max_map_count=262144

net.core.somaxconn = 65535

#使用arp_announce / arp_ignore解决ARP映射问题

net.ipv4.conf.default.arp_announce = 2

net.ipv4.conf.all.arp_announce=2

net.ipv4.conf.lo.arp_announce=2

长连接，指在一个TCP连接上可以连续发送多个数据包，在TCP连接保持期间，如果没有数据包发送，需要双方发检测包以维持此连接，一般需要自己做在线维持。

长连接，是指通信双方有数据交互时，就建立一个TCP连接，数据发送完成后，则断开此TCP连接。

聊天室或即时消息推送系统等，因为很多消息需要到产生时才推送给客户端，所以当没有消息产生时，就需要hold住客户端的连接，这样，当有大量的客户端时，要hold住大量的长连接。

在性能测试过程中，经常会接触到连接数相关的问题，有一个问题曾经困扰我好长时间，那就是一台服务器最多能支持多少链接数呢？

有的朋友可能会说是65535，因为操作系统有65535个端口，那么这个答案准确吗？

首先先了解下如何标识一个链接（记住下面的概念，文章后面要用到），操作系统是通过一个四元组来标识一个TCP链接：

{本地ip，本地port，远程ip，远程port}

这四个要素唯一确定一个TCP链接，任意一个要素不相同，就认为是一个不同的链接。

在Linux系统中，一切皆文件，每一个TCP链接都要占用一个文件句柄，系统允许创建的链接数取决于句柄数的上限。超过这个值再创建链接就会报这样的错误：“Can't open so many files"。

通过命令ulimit -n可以查看当前系统允许打开文件数量的上限，在Linux中这个值默认是1024，也就是说默认情况下，只能创建1024个链接。同时这个值也是可以修改的，通过修改/etc/security/limits.conf文件，可以把这个值改大，一般服务器都会改的很大，比如我们的服务器上一般设置为1000000。

那这么说是不是就意味着只要我改的很大，链接数可以无限大了？

其实也并不是这样，创建链接的时候，一般分为两个端， 即链接的发起端和链接接收端。

比如我们现在使用Jmeter进行压测，被测系统部署在Tomcat服务器10.0.0.3上，使用的是8080端口。

如果我们用5个并发来进行压测的话，创建的链接如下图所示：

对于Jmeter来说，它是链接发起端，Jmeter创建了5个链接去连接服务端的8080端口，每个新建链接会占用了一个端口号，如图中的10001-10005。在操作系统中，端口号的范围是0-65535，其中0-1024是预留端口号，不可使用，其他的端口都是可以使用的。也就是说， 在链接发起端，受端口号的限制理论上最多可以创建64000左右链接。

那么有没有办法超过这个限制呢，答案是肯定的！

通过TCP标识的四元组可以看到，对于链接发起端，影响链接数的是本地ip和port，端口号受限于65535，已经没办法增加了。那我们可以增加本地ip来达到这个目的。一般情况下，服务器的一个网卡上只绑定了一个ip，对外通信都使用这个ip进行。其实网卡是支持一个绑定多个IP的，当然必须确保ip是有效的且未使用的。

# ifconfig eth0:1 10.0.0.5

以上命令可以在eth0网卡上增加一个ip 10.0.0.5，服务器网卡每增加一个ip，就可以允许在这个ip上再创建65535左右的链接数。

曾经做过一个邮件网关的链接数测试，目的是为了测试网关服务器可以接收并且保持多少TCP长连接。正常情况下，受限于单台机器65535端口号的影响，客户端想创建25万TCP长连接，至少需要4台机器。通过对客户端网卡绑定多IP的方法，成功在一台机器上创建了25万个链接。

当然，这种手段只是一种非常规的操作，只是为了进行某种特殊场景的测试。正常情况下不推荐网卡绑定多个IP。

对于Tomcat服务器来讲，它是链接接收端，它是不是也受限于65535呢？

并不是，从上面图中可以看到，Jmeter发起的所有链接都创建在Tomcat服务器的8080端口，也就是说对于链接接收端，所有的链接占用的是同一个端口。

根据TCP标识四元组可以分析出， 一个链接接收端，最大的TCP链接数=所有有效ip排列组合的数量*端口数量64000 ，这个计算结果应该是一个天文数字。 因此链接接收端支持的链接数理论上可以认为是无限大的。

上面介绍的一些数据都是理论上单台机器可以支持的TCP链接数， 实际情况下，每创建一个链接需要消耗一定的内存，大概是4-10kb，所以链接数也受限于机器的总内存。

链接发起端,活力全开才64000左右链接，内存最多才占用640M，一般客户端都能 满足，内存限制主要还是考虑服务器端。

虽然现在的集群，分布式技术可以为我们将并发负载分担在多台服务器上，那我们只需要扩展出数十台电脑就可以解决问题，但是我们更希望能更大的挖掘单台服务器的资源，先努力垂直扩展，再进行水平扩展，这样可以有效的节省服务器相关的开支（硬件资源、机房、运维人力、电力其实也是一笔不小的开支）。

首先需要考虑文件句柄的限制。在Linux下编写网络服务器程序的朋友肯定都知道每一个tcp连接都要占一个文件描述符，一旦这个文件描述符使用完了，新的连接到来返回给我们的错误是“Socket/File:Can't open so many files”。这时你需要明白操作系统对可以打开的最大文件数的限制。

我们可以通过ulimit -n命令、/etc/security/limits.conf 文件 以及 /etc/sysctl.conf 文件等来修改文件句柄数。

其次要考虑的是端口范围的限制，操作系统上端口号1024以下是系统保留的，从1024-65535是用户使用的。

由于每个TCP连接都要占一个端口号，所以我们最多可以有60000多个并发连接。我想有这种错误思路朋友不在少数吧？

面试官也比较喜欢在这里引导挖坑，类似的问题还有：一个UDP连接可以复用已经被TCP连接占用的端口嘛？

如何标识一个TCP连接？

系统使用一个4四元组来唯一标识一个TCP连接：

本地端口号 local port、本地IP地址 local ip、远端端口号 remote port、远端IP地址 remote ip。

server通常固定在某个本地端口上监听，等待client的连接请求。不考虑地址重用（unix的SO_REUSEADDR选项）的情况下，即使server端有多个ip，本地监听端口也是独占的，因此server端tcp连接4元组中只有remote ip（也就是client ip）和remote port（客户端port）是可变的，因此最大tcp连接为客户端ip数×客户端port数，对IPV4，不考虑ip地址分类等因素，最大tcp连接数约为2的32次方（ip数）×2的16次方（port数），也就是server端单机最大tcp连接数约为2的48次方。

上面给出的结论都是理论上的单机TCP并发连接数，实际上单机并发连接数肯定要受硬件资源（内存）、网络资源（带宽）的限制。

单台服务器最大支持多少连接数

https://blog.csdn.net/alpha_love/article/details/108351457

单机服务器支持千万级并发长连接的压力测试

https://blog.csdn.net/lijinqi1987/article/details/74545851

https://blog.csdn.net/wangshuminjava/article/details/80619190

HTTP长连接200万尝试及调优

https://www.cnblogs.com/zlingh/p/4814836.html

一次百万长连接压测 Nginx 内存溢出问题

https://blog.csdn.net/yangbaggio/article/details/107007627

大并发下TCP内存消耗优化小记（86万并发业务正常服务）

https://blog.51cto.com/benpaozhe/1752675

TCP长连接与短连接的区别

https://www.cnblogs.com/liuyong/archive/2011/07/01/2095487.html

Linux系统设置–ulimit

https://blog.haohtml.com/archives/9883

HTTP的长连接和短连接

https://www.cnblogs.com/cswuyg/p/3653263.html

网络连接中的长连接和短链接是什么意思?

https://www.zhihu.com/question/22677800

性能优化篇-使用长连接提升服务性能

https://zhuanlan.zhihu.com/p/118946284

---