其中SAN在数据中心比较常见,利用大量的磁盘和高速缓存组成的磁盘阵列,为数据中心的服务器提供大容量的存储空间。
DAS,单单为一台服务器(服务器自带的磁盘槽位较少)提供存储空间扩容。
NAS,不需要服务器,办公区域的客户端可以直接访问,不同品牌的NAS有不同的功能,也有桌面级和数据中心级的区别。
服务器是被客户端访问的设备,可搭建不同的系统,比如搭建邮件系统的叫邮件服务器。WEB服务器,应用服务器等,当然还有你需要的文件存储服务器。
你可以选择:1.大容量NAS设备,
2.也可以选择服务器加高速SAN/DAS的容量(RAID之后80TB)来建立存储文件服务器。
RAID,是阵列的意思。分为多个级别,常见的是RAID0,1,5,10,50,60等。
举例1:我们可以把4块10TB容量的硬盘,做RAID1,得到20TB容量的虚拟磁盘,其中2块硬盘硬盘正常工作,另外2块做镜像备份,最大可以坏2块硬盘,对虚拟的20TB容量的虚拟磁盘没有影响。
举例2:我们可以把4块10TB容量的硬盘,做RAID0,得到40TB容量的虚拟磁盘,4块硬盘连成一起,同时读写,速度翻倍。但不能坏硬盘,坏任意一块,整个虚拟磁盘就丢失了。
同理得出RAID10,又有镜像备份,又有速度翻倍。容量20TB。其他RAID级别自行查阅。
具体如下。128G内存能够存128g、1024m、1024kb、1024byte150字节(一个文件块占用150字节)=9亿。
计算:一个文件对应一个切片->maptask。
解决办法:har归档重点、自定义Inputformat->减少nn内存。
CombineTextInputformat->减少切片数->减少maptask。
jvm重用:开始块大小、副本数。
由于服务器上一致跑着项目,时间久了日志会越来越大,这样很占内存,如不即使清理,有可能会把服务器的服务搞崩。
有一个简单的方法,就是不用停止服务,可以对日志进行动态清楚。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)