存储文件服务器和磁盘阵列什么意思?公司要组个80TB文件服务器

存储文件服务器和磁盘阵列什么意思?公司要组个80TB文件服务器,第1张

磁盘阵列可分为三大类:SAN,DAS,NAS。他们共同的功能RAID。

其中SAN在数据中心比较常见,利用大量的磁盘和高速缓存组成的磁盘阵列,为数据中心的服务器提供大容量的存储空间。

DAS,单单为一台服务器(服务器自带的磁盘槽位较少)提供存储空间扩容。

NAS,不需要服务器,办公区域的客户端可以直接访问,不同品牌的NAS有不同的功能,也有桌面级和数据中心级的区别。

服务器是被客户端访问的设备,可搭建不同的系统,比如搭建邮件系统的叫邮件服务器。WEB服务器,应用服务器等,当然还有你需要的文件存储服务器。

你可以选择:1.大容量NAS设备,

2.也可以选择服务器加高速SAN/DAS的容量(RAID之后80TB)来建立存储文件服务器。

RAID,是阵列的意思。分为多个级别,常见的是RAID0,1,5,10,50,60等。

举例1:我们可以把4块10TB容量的硬盘,做RAID1,得到20TB容量的虚拟磁盘,其中2块硬盘硬盘正常工作,另外2块做镜像备份,最大可以坏2块硬盘,对虚拟的20TB容量的虚拟磁盘没有影响。

举例2:我们可以把4块10TB容量的硬盘,做RAID0,得到40TB容量的虚拟磁盘,4块硬盘连成一起,同时读写,速度翻倍。但不能坏硬盘,坏任意一块,整个虚拟磁盘就丢失了。

同理得出RAID10,又有镜像备份,又有速度翻倍。容量20TB。其他RAID级别自行查阅。

具体如下。

128G内存能够存128g、1024m、1024kb、1024byte150字节(一个文件块占用150字节)=9亿。

计算:一个文件对应一个切片->maptask。

解决办法:har归档重点、自定义Inputformat->减少nn内存。

CombineTextInputformat->减少切片数->减少maptask。

jvm重用:开始块大小、副本数。

由于服务器上一致跑着项目,时间久了日志会越来越大,这样很占内存,如不即使清理,有可能会把服务器的服务搞崩。

有一个简单的方法,就是不用停止服务,可以对日志进行动态清楚。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/297129.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-25
下一篇2023-04-25

发表评论

登录后才能评论

评论列表(0条)

    保存