字节跳动有多少机房

字节跳动有多少机房,第1张

最近看到一个有意思的提问:抖音服务器带宽有多大,为什么能够供那么多人同时刷?作为一名程序员,今天来给大家科普一下。

北京字节跳动有限公司旗下,除了最为人所熟知的两款产品“今日头条”和“抖音”,还包括“西瓜视频”、“火山小视频”以及“悟空问答”等其他产品线。

字节跳动在美租用数据中心:数十万台服务器,能耗达53兆瓦。

近日有报道称,今年上半年字节跳动达成三起交易,在弗吉尼亚州北部租用了能耗达53兆瓦的数据中心。分析师称,能耗如此大的数据中心,可以容纳数十万台服务器,占地面积可达数十万平方英尺。

图片来自 Pexels

抖音,百度,阿里云,腾讯都是自建的数据中心,都是 T 级别出口带宽(总出口带宽),也就是达到 1T=1024G/s 的出口带宽,服务器总署基本都在 20 万台以上,甚至阿里云都超过了 100 万台。

字节跳动的数据中心总带宽,可能在 10TB 级别左右,预期突破 15TB 级别不远了。

一般情况下:总出口带宽 1TB,实际机房出口带宽可能只有 100G 上下,这是采用双(多)链路设计,双出口实现动态流量分担,总的出口带宽可以达到 T 级别。

大型数据中心

想要同一时间有数亿人在线,TB 级别带宽,CDN 加速和多节点,负载均衡等等技术缺一不可。(这个设计技术过于复杂,有相关专业朋友,可以评论简要概述)

CDN 加速

字节跳动有多少台服务器?

根据网络数据整理,2017 年 2-3 万台服务器,这个时候主要是租用服务器为主。

2018 年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期 5 万台服务器,二期 9 万台服务器。

2018 年,租用+自建的服务器数量达到 17 万台服务器。

2020 年,根据字节跳动招聘公告的数据,显示有 42 万台服务器。比 2018 年增长了 1.5 倍。(数据来自网络)

一个机柜中 10-20 台服务器

这部分服务器都是给中国区域使用,主要应用国内的抖音,西瓜视频,今日头条,飞书等产品。

在美国的 TIKTOK 是独立出来的运营,数据在美国当地存储和分发。2020 年 Tiktok 在美国也租用了近 10 万台服务器

据 Business Insider 公布数据,2020 年上半年,字节跳动在美国弗吉尼亚州北部租用了能耗达 53 兆瓦的数据中心。可以容纳数十万台服务器,占地面积可达数十万平方英尺。

Tiktok在印度,新加坡都在投资建设数据中心。

字节跳动大型的数据中心出口带宽是多少?

聊完了服务器数量,那么咱们来点硬核的东西

如果想要同一时间有数亿人在线,TB级别带宽,CDN加速和多节点,负载均衡等等技术缺一不可。

其实,抖音,百度,阿里云,腾讯都是自建的数据中心,都是TB级别出口带宽(总出口带宽),也就是达到1TB=1024G/s的出口带宽,服务器总署基本都在20万台以上,甚至阿里云都超过了100万台。

据研究,字节跳动(抖音)的数据中心总带宽,可能在10TB级别左右,预期突破15TB级别不远了。

抖音为什么能够供上亿人同时刷?它的带宽有多大?

服务器集群

抖音并不是全国所有刷视频用户都在同一个地方的数据中心接入我们看视频的流量,如果是这样的话,那么这个数据数据中心所需的带宽就是过于巨大。

一般来说,抖音在全国各地会建设几个比较大的数据中心,也就是服务器集群,我们刷视频的请求是就近接入的。

而且每个数据中心都会和三大运营商网络对接。这也就意味着你是如果是上海移动用户,那么刷出来抖音的视频将会从上海移动的网络接入抖音。

抖音为什么能够供上亿人同时刷?它的带宽有多大?

字节跳动有多少台服务器?

根据网络数据整理,字节跳动2017年有2-3万台服务器,这个时候主要是租用服务器为主。2018年,字节跳动自己建设了数据中心,最大的数据中心在河北怀来官厅湖新媒体产业园,一期5万台服务器。二期9万台服务器。

抖音为什么能够供上亿人同时刷?它的带宽有多大?

2018年,租用+自建的服务器数量达到17万台服务器。

2020年,根据字节跳动招聘公告的数据,显示有42万台服务器。比2018年增长了1.5倍。(数据来自网络)

在海外,例如在美国的TIKTOK(抖音国际版)是独立出来的运营,数据在美国当地存储和分发。2020年TIKTOK在美国也租用了近10万台服务器,占地面积可达数十万平方英尺。

抖音为什么能够供上亿人同时刷?它的带宽有多大?

CDN让视频不卡顿

上面说到服务器集群,再说说CDN等技术,属于是硬性要求,基本都是视频行业的标配了,抖音肯定也不例外。

CDN是做内容分发,用通俗的话解释CDN就是:会把一些页面,专门压缩,有的压缩为静态页面,静态页面直接分发,速度快。用户可以在2s内看到内容,体验感更好。这是静态传输。

对于动态视频,首先通过智能路由,寻找最佳路径,然后协议优化将长连接,内容进行压缩,去除冗余。这就是动态压缩。

抖音为什么能够供上亿人同时刷?它的带宽有多大?

早在2015年腾讯就有5亿日活,集合了音乐,即时通讯等等产品的CDN的级别,达到了10TB带宽。每天请求万亿次。

目前抖音日活有6亿,西瓜视频+今日头条我们粗略算是2亿,总计有8亿的日活。所以,字节跳动整体服务器有10TB只少不多。

所以,拥有这么大的带宽和技术实力,才能让上亿人同时刷视频不卡顿。

为什么只有13台dns根服务器

最后,让我们了解下全球DNS根服务器为什么只有13台。

DNS协议的最初定义要从20世纪80年代未期开始算起,它使用了端口上的UDP和TCP协议。

UDP通常用于查询和响应,TCP用于主服务器和从服务器之间的区传送.遗憾的是,在所有UDP实现中能保证正常工作的最大包长是512字节,对于在每个包中必须含有数字签名的一些DNS新特性(例如,DNSSEC)来说实在是太小了。

512字节的限制还影响了根服务器的数量和名字。

要让所有的根服务器数据能包含在一个512字节的UDP包中,根服务器只能限制在13个,而每个服务器要使用字母表中的单个字母命名。

以太网数据的长度必须在46-1500字节之间,这是由以太网的物理特性决定的。

事实上,这个1500字节就是网络层IP数据包的长度限制,理论上,IP数据包最大长度是65535字节。

这是由IP首部16比特总长度所限制的,去除20字节IP首部和8个字节UDP首部,UDP数据包中数据最大长度为65507字节。

在Internet数据传输中,UDP数据长度控制在576字节(Internet标准MTU值),而在许多UDP应用程序设计中数据包被限制成512字节或更小。这样可以防止数据包的丢失。

许多解析器首先发送一条UDP查询,如果它们接收到一条被截断的响应,则会用TCP重新发送该查询。

这个过程绕过了512字节的限制,但是效率不高。您或许认为DNS应该避开UDP,总是使用TCP,但是TCP连接的开销大得多。

一次UDP名字服务器交换可以短到两个包:一个查询包、一个响应包。一次TCP交换则至少包含7个包:三次握手初始化TCP会话、一个查询包、一个响应包以及最后一次握手来关闭连接。

总结:

DNS协议使用了端口上的UDP和TCP协议,由于TCP开销太大(一次UDP数据交互可以短到两个包,而TCP要7个包,三次握手),而UDP最大数据包长是512个字节。512个字节要存根服务器信息,也只能存13台。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/474458.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-06-07
下一篇2023-06-07

发表评论

登录后才能评论

评论列表(0条)

    保存