建立数据分析平台花费有多大?NASA气候模拟中心告诉你

建立数据分析平台花费有多大?NASA气候模拟中心告诉你,第1张

中国太空天团又添新成员

不久前"祝融号"成功着陆火星

并开始巡视探测

立下中国航天又一里程碑

从嫦娥、玉兔、悟空再到祝融

这些寄予着国人

太空梦的大国重器

指引着人类对

神秘宇宙的持续 探索

提到 探索 宇宙,先后执行了水星计划、阿波罗计划、国际空间站等研究任务的美国国家航空航天局(NASA)可谓鼎鼎有名。

其实,除了空间科学,地球学研究也在NASA的研究领域之内。位于马里兰州格林贝尔特的戈达德航空飞行中心(NASA-GSFC),就拥有一支庞大的地球科学家队伍。

这些科学家研究天气和气候现象,时间跨度极大,从几天到几个世纪不等,他们需要分析 历史 天气和气候数据,并预测未来几十年的气候变化。

为了满足气候研究中存在的数据存储和计算需求,NASA专门设立了气候模拟中心(NCCS)。其内部运营着强大的超级计算资源库,这些资源包括一个庞大且不断发展的高性能计算系统——Discover,它拥有大约90个机架和90000个内核。

"一箭双雕"

组建高级数据分析平台

考虑到Discover被设计用来支持大规模的模拟,无法对高性能计算与大数据相结合的应用进行优化,NCCS又推出了高级数据分析平台(Advanced Data Analytics PlaTform,ADAPT)。

该平台是一个在私有云中结合HPC和虚拟化技术的系统,被用于进行大规模的数据分析。这种以数据为中心的虚拟系统方法,大大降低了用户访问HPC解决方案的障碍和风险。

看到这里,你会不会觉得NCCS"财大气粗",直接新建平台,大手一挥说干就干?

重点来了,ADAPT最亮眼的地方就在于,它实现了IT资源的循环利用。平台由退役的HPC部件建造,而这些部件正是来自于Discover升级后的旧设备。

这些被重新利用的设备包括数百台戴尔易安信PowerEdge C6100服务器,它们为ADAPT提供了大部分的计算节点。

戴尔易安信PowerEdge服务器搭载英特尔 至强 系列可扩展处理器,在核心、缓存、内存以及I/O方面进行了大量优化,使得其在整体性能上有了极大的提升,可满足多种工作负载需求。

NCCS的做法很聪明,可谓是"一箭双雕"。

一方面,这种处理方式对环境非常友好。在绿色环保已成为全球趋势的大背景下,妥善处理旧HPC设备,为IT产品的再利用进行了积极正向的示范。

另一方面,这种行为盘活了现有资源,利用旧设备组建的ADAPT切实解决了中心对数据分析的需求,同时没有产生较大的成本开支。

仔细观察,我们会发现,ADAPT当前表现为一个类似于平台即服务(PaaS)云的托管虚拟机(VM)环境。

它最重要的特点是通过存储、计算、网络和云计算能力的架构组合,实现大规模数据分析。这使科学家能够快速创建分析应用程序,将其移植到一个非常大的资源上,并能够访问庞大的模型和观测数据集。

在该资源的中心是一个大型的并行文件系统,拥有大约8PB的配置存储。围绕着存储的是一朵高性能计算资源云,它有许多处理核心和大内存,并借助InfiniBand网络与存储相连。

通过使用单根输入/输出虚拟化(SR-IOV)等技术,ADAPT可以在计算资源上配置虚拟系统,与存储和其他虚拟系统进行高速的网络连接。

为ADAPT提供了大部分计算节点的戴尔易安信PowerEdge C6100,具有容量大、性能强和灵活度高等优点,并且采用高密度封装。其高效的2U机架式机箱最多可支持12个3.5英寸或24个2.5英寸热插拔SAS、SATA或固态硬盘。

即便是退役后再上岗,PowerEdge服务器依旧"能打",能实现单节点可维护性以及热插拔硬盘灵活性,为数据密集型科学应用程序提供坚实的基础架构。

在PowerEdge服务器的强力"助攻"下,ADAPT使科学家们能够随时访问大量数据集和强大的计算资源,并获得了HPCwire读者选择奖——最佳数据密集型系统(以终端用户为中心)。

软硬件服务兼具

提供HPC一站式解决方案

不仅是科学研究领域需要HPC,经过近些年高性能计算机器周边生态的快速发展,高性能计算逐渐成为一种"飞入寻常百姓家"的实用技术,在基因工程、生物制药、能源、金融等领域有着广泛的应用需求。

戴尔 科技 深耕高性能计算领域多年,从高性能计算的计算能力、网络能力、存储能力等多方面布局,能为多个垂直行业提供高性能、高IO、易用、易于扩展且服务周全的HPC方案,帮助客户更快速、更经济地部署HPC系统。

01.在高性能服务器方面

戴尔易安信PowerEdge服务器提供可扩展的企业体系结构、智能的自动化和集成的安全性,其机架式、塔式和模块化服务器基础架构产品组合可以帮助用户快速地从数据中心向云端扩展。

不久前,戴尔 科技 发布了新一代戴尔易安信PowerEdge服务器产品。新款PowerEdge服务器采用了PCIe Gen 4.0,吞吐性能是上一代产品的两倍,每台服务器最多配有六个加速器,可提供给客户最关键负载和应用所需的计算能力。

这17款新服务器涵盖传统机架式服务器、2U4节点C系列、模块化服务器,此外还有专用的GPU优化服务器、 专用的边缘和电信服务器等。

比如说,采用了GPU加速器优化的PowerEdge R750xa,就是一款理想的高性能计算服务器,它能够为机器学习训练、推理和人工智能提供GPU密集型性能。这款双插槽2U服务器采用第三代英特尔 至强 可扩展处理器,最多支持4个双宽GPU和6个单宽GPU。

新款戴尔易安信PowerEdge R750的表现也令人眼前一亮。凭借强大的性能表现、出色的散热设计,以及卓越的软件功能,它刚刚获得专业评测机构StorageReview授予的"2021年编辑选择奖"。

该款服务器充分利用了最新第三代英特尔 至强 可扩展处理器的优势,包括对PCIe Gen4的支持,其吞吐性能是Gen3的两倍,专为最严苛工作负载而设计。

02.在高性能网络方面

针对企业级和科研院所在部署高性能计算过程中对网络的需求特点,戴尔 科技 提供基于英特尔Omni-Path架构的高性能网络,此外还提供Mellanox EDR InfiniBand架构的100Gb高速低延迟网络。

03.在高性能存储方面

戴尔 科技 提供了多种存储方案,既保证性能/容量要求,又提供更多功能选择供未来扩展业务应用。对于想要存储非结构化数据的用户来说,戴尔易安信PowerScale是一个很好的选择。

它安装简单、扩展容易、即插即用,支持包括Hadoop文件格式、S3对象文件格式、Windows文件格式等多种格式,便于HPC对数据进行存储、分析、处理和展现。

同时,PowerScale系统运行OneFS操作系统,内置了对Kubernetes的支持,可以帮助用户管理容器工作负载,并提供了在多云环境中管理数据的工具DataIQ。其线性扩展性能和容量,满足高性能文件存储的需求重复删除和压缩计算,也提高了边缘端存储资源使用效率。

除了硬件产品,HPC还需要大量软件和服务的支持。戴尔 科技 拥有"适用于HPC的ProSupport附加服务",提供了比ProSupport及ProSupportPlus基于设备本身售后服务更高级别的支持。

同时,戴尔易安信也提供基于HPC的Dell EMC Ready解决方案,简化并缩短了设计和配置为实时执行计算密集型任务而构建的HPC系统所需的时间。

高性能计算是计算领域的皇冠,未来HPC将更紧密地同大数据、人工智能、云计算等进行结合。作为首家提供HPC打包的方案厂商,戴尔 科技 在HPC领域不断创新。用户通过戴尔 科技 可以利用业界最新的HPC产品和技术,在竞争日益激烈的数字化世界中获得竞争优势。

r240服务器能加显卡。

服务器可以装显卡啊,其实和正常电脑没什么太大区别。dellr240服务器主机,是带有两条pciex16显卡插槽的,由于是服务器机箱,所以只能用半高刀片显卡,电源是额定450铜牌的。

戴尔易安信PowerEdgeR240机架式服务器,是一款产品类别为机架式的电脑服务器。

戴尔易安信PowerEdge R740是一款针对工作负载加速进行优化的通用服务器。凭借其丰富的功能,R740 可以帮助您实现 VDI 数据中心、人工智能和 SDS(Software-defined Storage,软件定义的存储)的转型。借助经过验证、预先捆绑和定制的就绪节点,可简化并加快 VMware vSAN的部署。利用第二代英特尔 至强 可扩展处理器,您可扩展计算资源,并根据特殊工作负载要求定制性能。利用三个双宽 GPU 扩展 VDI 部署,与 R730 相比,可支持用户高出 50%。使用针对启动进行优化的内部 M.2 SSD,释放存储空间。

戴尔易安信PowerEdge R740服务器可让您在 2U 双路平台中实现加速器卡、存储和计算资源之间的出色平衡,很大限度地提升应用程序性能。凭借广泛的 GPU 和 FPGA 选项,R740 具有几乎能适应任何应用程序的通用性,为 VDI 部署提供了良好的平台。R740 很高可配 16 个 2.5" 硬盘或 8 个 3.5" 硬盘,支持 iDRAC9,因此您可按需进行扩展,并简化整个 IT 生命周期。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/168232.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-03-25
下一篇2023-03-25

发表评论

登录后才能评论

评论列表(0条)

    保存