NVIDIA GPU卡有几种架构?

NVIDIA GPU卡有几种架构?,第1张

GT200系列以前都是用G9X,G8X,G7X,NV4X等等来标注核心,但无架构名。

GT300系列开始采用GT作为核心前缀。

从GT400系列开始,采用费米这个架构名称,GF作为核心前缀。

GT600开始升级为开普勒架构,GK作为核心前缀,

GT700中的GTX750TI开始采用麦克斯韦架构,GM作为核心前缀,

未来还有瓦特(音译)架构。

至于Tesla,只是费米架构时代出现的一种显卡系列代号,主要用于专业卡或计算卡,和GeForce是并列的,后者针对的是游戏卡。

SegmentFault 思否报道丨公众号:SegmentFault

是他,还是那个男人,那个熟悉的皮夹克。

5 月 14 日 晚,黄仁勋在厨房召开了英伟达 GTC 2020 线上发布会。由于新冠病毒疫情影响,英伟达原计划的现场活动被迫取消,定于 3 月 24 日通过媒体发布的新闻稿也未见踪影。千呼万唤中,黄仁勋终于在烤箱前和大家见面了。

本届 GTC 从预热开始就不走寻常路,黄仁勋在大会前一天晒出了自己从烤箱里拿出了 全新的安培(Ampere)架构 GPU NVIDIA A100

令人颇感意外的是,虽然无法举办线下活动,英伟达竟然连线上直播都懒得办,直接播放了黄仁勋在自家厨房里录制的视频完成了新品发布。果然是手里有「硬货」就不在乎形式了。

英伟达的首款安培架构 GPU 可以算「史上最强」了,基于 7nm 工艺制程,拥有 540 亿晶体管,面积为826mm²,与 Volta 架构相比性能提升了 20 倍 ,既可以做训练也可以做推理。

NVIDIA A100 具有 TF32的第三代 Tensor Core 核心,能在不更改任何代码的情况下将 FP32 精度下的 AI 性能提高 20倍,达到19.5万亿次/秒

多实例 GPU-MG 可将单个 A100 GPU 分割为 7 个独立的 GPU,根据任务不同提供不同的计算力,实现最佳利用率和投资回报率的最大化。

NVIDIA A100 新的效率技术利用了AI数学固有的稀疏性,优化之后性能提升了一倍。

英伟达将 NVIDIA A100 的特性总结为以下 5 点:

黄仁勋说:“Ampere架构的突破性设计为英伟达第八代GPU提供了迄今为止最大的性能飞跃, 集 AI 训练和推理于一身,并且其性能相比于前代产品提升了高达 20 倍 。这是有史以来首次,可以在一个平台上实现对横向扩展以及纵向扩展的负载的加速。A100 将在提高吞吐量的同时,降低数据中心的成本。”

NVIDIA A100 是第一个基于 NVIDIA 安培架构的 GPU,提供了在 NVIDIA 八代 GPU 里最大的性能提升,它还可用于数据分析,科学计算和云图形,并已全面投产并交付给全球客户。

全球 18 家领先的服务提供商和系统构建商正在将 NVIDIA A100 整合到他们的服务和产品中,其中包括阿里云、AWS、百度云、思科、Dell Technologies、Google Cloud、HPE、Microsoft Azure和甲骨文。

黄仁勋还介绍了基于 NVIDIA A100 的第三代 AI 系统 DGX-A100 AI。DGX-A100 AI 是世界上第一台单节点 AI 算力达到 5 PFLOPS 的服务器 ,每台 DGX A100 可以分割为多达 56 个独立运行的实例,还集合了 8 个 NVIDIA A100 GPU,每个 GPU 均支持 12 路 NVLink 互连总线。

据了解,与其他高端 CPU 服务器相比,DGXA100 的 AI 计算性能高 150 倍、内存带宽高 40 倍、IO 带宽高 40 倍。

黄仁勋说:“AI已经被应用到云计算、 汽车 、零售、医疗等众多领域,AI算法也正变得越来越复杂和多样。ResNet模型的算力需求从2016年到现在已经增加了3000倍,我们需要更好的解决方案。”

如此强大的 DGX-A100 AI 售价自然也不便宜,标价 19.9 万美元,约合人民币 141 万元。

此外,黄仁勋还提到了英伟达新一代 DGXSuper POD 集群,由 140 台DGXA100系统组成,AI算力达 700 Petaflops,相当于数千台服务器的性能

据了解,首批 DGXSuper POD 将部署在美国能源部阿贡国家实验室,用于新冠病毒疫情相关的研究。

除了以上两款重磅产品,黄仁勋还宣布推出了 NVIDIA Merlin,这是一个用于构建下一代推荐系统的端到端框架,该系统正迅速成为更加个性化互联网的引擎。Merlin将创建一个 100 TB 数据集推荐系统所需的时间从四天减少到 20 分钟。

英伟达此次还推出了众多 AI 领域相关产品,包括 以太网智能网卡 Mellanox ConnectX-6 Lx SmartNIC、EGX 边缘 AI 平台和一系列软件更新扩展。

1.以太网智能网卡 Mellanox ConnectX-6 Lx SmartNIC

ConnectX-6 Lx 是业界首个为 25Gb/s 优化的安全智能网卡,可提供两个 25Gb/s 端口或一个 50Gb/s 端口。

2.EGX 边缘 AI 平台

EGX Edge AI 平台是首款基于 NVIDIA 安培架构的边缘 AI 产品,可接收高达 200Gbps 的数据,并将其直接发送到 GPU 内存进行 AI 或 5G 信号处理。

3.Spark 3.0

英伟达还宣布在 Spark 3.0 上支持 NVIDIA GPU 加速,基于 RAPIDS 的 Spark 3.0,打破了提取,转换和加载数据的性能基准。它已经帮助 Adobe Intelligent Services 将计算成本降低了90%。

4.NVIDIA Jarvis

黄仁勋在发布会中详细介绍了 NVIDIA Jarvis,这是一个新的端到端平台,可以充分发挥英伟达 AI 平台的强大功能,创建实时多模态对话式 AI。

5.Misty 交互 AI

现场演示中,一个名为 Misty 的 AI系统展示了实时理解并回答一系列有关天气的复杂问题的交互过程。

自动驾驶方面,英伟达也将安培架构嵌入了新的 NVIDIA DRIVE 平台。据了解,小马智行、法拉第未来等自动驾驶企业已宣布采用 NVIDIA DRIVE AGX 计算平台。

英伟达的 NVIDIA Isaac 软件定义的机器人平台还将用于宝马集团工厂。英伟达机器人技术全球生态系统涵盖配送、零售、自主移动机器人、农业、服务业、物流、制造和医疗保健各个行业。

英伟达这场时隔 3 年的发布会可谓诚意满满,首次推出的安培架构给足了惊喜,性能提升 20 倍的 NVIDIA A100 GPU 可谓性能飞跃。

虽然发布会并不是现场直播,但依旧爆点十足。一台就比千台强的 DGX-A100 AI 也印证了黄仁勋那就经典名言“买的越多,赚的越多”。英伟达的 AI 解决方案已经覆盖了各行各业,强大的 AI 生态正在形成。

中国工程院院士倪光南曾表示:「芯片设计门槛极高,只有极少数企业能够承受中高端芯片研发成本,这也制约了芯片领域创新。」

英伟达在本届 GTC 上推出的安培架构和基于此的一系列 AI 平台无一部显示了一个 AI 芯片巨头的实力,又一次树立了性能标杆。

根据 Gartner 的预测数据 ,未来 5 年内全球人工智能芯片市场规模将呈飙升趋势 ,自 2018 年的 42.7 亿美元 ,升高至 343 亿美元 ,增长已超过 7 倍,可见 AI 芯片市场有较大增长空间。

尽管与西方发达国家相比,中国的 AI 芯片研发还存在一定差距,但过去两年中,中国 AI 芯片初创企业已获得了数亿美元的资金。华为等公司也开发了令人印象深刻的芯片设计。

但芯片开发极具复杂性,中国人才的短缺以及缺乏多家全球销售排名前 15 位的中国半导体公司的情况表明,中国仍需要取得重大进展,才能在半导体领域与美国匹敌。

如果说英伟达的Grace CPU超级芯片的架构是CPU+GPU是巧合,那么英特尔和AMD推出的Falcon Shores XPU芯片、Instinct MI300芯片同样是CPU+GPU结构时,CPU+GPU一体的架构就很难称之为巧合了。

更为“碰巧”的是,以上三种芯片其都是用于数据中心的场景,这就意味着在未来两年内,AMD、英伟达和英特尔都将拥有混合CPU+GPU芯片进入数据中心市场。

可以说CPU+GPU的形式已经成为未来芯片设计的趋势。

英特尔推出XPU

英特尔宣布了一款特殊的融合型处理器“Falcon Shores”,官方称之为XPU。其核心是一个新的处理器架构,将英特尔的x86 CPU和Xe GPU硬件置入同一颗Xeon芯片中。

Falcon Shores芯片基于区块(Tile)设计,具备非常高的伸缩性、灵活性,可以更好地满足HPC、AI应用需求。

按照英特尔给出的数字,对比当今水平,Falcon Shores的能耗比提升超过5倍,x86计算密度提升超过5倍,内存容量与密度提升超过5倍。

Falcon Shores芯片将在2024年推出。

AMD推出APU

在数据中心领域,AMD同样展示其野心。

APU是AMD传统上用于集成显卡的客户端CPU的“加速处理单元”命名法。自2006年Opteron CPU的鼎盛时期以来,AMD一直梦想着使用APU,并于2010年开始推出第一款用于PC的APU。随后在索尼Play Station4和5以及微软Xbox XS中推出了定制APU系列 游戏 机,也推出了一些Opteron APU——2013年的X2100和2017年的X3000。

最近,AMD公布的路线图中显示,其将在2023年推出Instinct MI300芯片,这是AMD推出的第一款百亿亿次APU,AMD将其称为“世界上第一个数据中心APU”。

而这个APU是一种将CPU和GPU内核组合到一个封装中的芯片,仔细来说是将基于Zen4的Epyc CPU与使用其全新CDNA3架构的GPU相结合。

AMD表示Instinct MI300预计将比其Instinct MI250X提供超过8倍的AI训练性能提升,与支持Instinct MI200系列的CDNA2 GPU架构相比,用于Instinct MI300的CDNA3架构将为AI工作负载提供超过5倍的性能功耗比提升。

Instinct MI300将于2023年问世。

英伟达Grace超级芯片

一直专注于GPU设计的英伟达,在去年宣布进军基于Arm架构的CPU时引发了一阵轰动。在今年3月,英伟达推出解决HPC和大规模人工智能应用程序的Grace Hopper超级芯片。这款芯片将NVIDIA Hopper GPU与Grace CPU通过NVLink-C2C结合在一个集成模块中。

CPU+GPU的Grace Hopper核心数减半,LPDDR5X内存也只有512GB,但多了显卡的80GBHBM3内存,总带宽可达3.5TB/s,代价是功耗1000W,每个机架容纳42个节点。

英伟达同样承诺在2023年上半年推出其超级芯片。

从推出的时间节点来看,英特尔Falcon Shores芯片、AMD Instinct MI300、英伟达Grace Hopper超级芯片分别在2024年、2023年、2023年上半年推出。

CPU+GPU的形式,为什么引起了三大巨头的兴趣,纷纷将其布局于数据中心?

首先,在数字经济时代,算力正在成为一种新的生产力,广泛融合到 社会 生产生活的各个方面。数据中心是算力的物理承载,是数字化发展的关键基础设施。全球数据中心新增稳定,2021年全球数据中戏市场规模超过679亿美元,较2020年增长9.8%。因此,具有巨大市场的数据中心早已被 科技 巨头紧盯。

其次,数据中心会收集大量的数据,因此需要搭建于数据中心的芯片具有极大算力,将CPU与GPU组合可以提高算力。英特尔高级副总裁兼加速计算系统和图形(AXG)集团总经理Raja Koduri的演讲中提及,如果想要成功获得HPC市场,就需要芯片能够处理海量的数据集。尽管,GPU具有强大的计算能力,能够同时并行工作数百个的内核,但如今独立的GPU仍然有一大缺陷,就是大的数据集无法轻松放入独立GPU内存里,需要耗费时间等待显存数据缓慢刷新。

特别是内存问题,将CPU与GPU放入同一架构,能够消除冗余内存副本来改善问题,处理器不再需要将数据复制到自己的专用内存池来访问/更改该数据。统一内存池还意味着不需要第二个内存芯片池,即连接到CPU的DRAM。例如,Instinct MI300将把CDNA3 GPU小芯片和Zen4 CPU小芯片组合到一个处理器封装中,这两个处理器池将共享封装HBM内存。

英伟达官方表示,使用NVLink-C2C互连,Grace CPU将数据传输到Hopper GPU的速度比传统CPU快15倍;但对于数据集规模超大的场景来说,即使有像NVLink和AMD的Infinity Fabric这样的高速接口,由于HPC级处理器操作数据的速度非常快,在CPU和GPU之间交换数据的延迟和带宽代价仍然相当高昂。因此如果能尽可能缩短这一链路的物理距离,就可以节约很多能源并提升性能。

AMD表示,与使用分立CPU和GPU的实现相比,该架构的设计将允许APU使用更低的功耗;英特尔同样表示,其Falcon Shores芯片将显着提高带宽、每瓦性能、计算密度和内存容量。

整合多个独立组件往往会带来很多长期收益,但并不只是将CPU与GPU简单整合到一颗芯片中。英特尔、英伟达及AMD的GPU+CPU均是选择了Chiplet方式。

传统上,为了开发复杂的 IC 产品,供应商设计了一种将所有功能集成在同一芯片上的芯片。在随后的每一代中,每个芯片的功能数量都急剧增加。在最新的 7nm 和 5nm 节点上,成本和复杂性飙升。

而使用Chiplet设计,将具有不同功能和工艺节点的模块化芯片或小芯片封装在同一芯片,芯片客户可以选择这些小芯片中的任何一个,并将它们组装在一个先进的封装中,从而产生一种新的、复杂的芯片设计,作为片上系统 (SoC) 的替代品。

正是由于小芯片的特性,三家巨头在自己发展多芯片互连的同时,还展开了定制服务。

英特尔在发布Falcon Shores时介绍,其架构将使用Chiplet方法,采用不同制造工艺制造的多个芯片和不同的处理器模块可以紧密地塞在一个芯片封装中。这使得英特尔可以在其可以放入其芯片的CPU、GPU、I/O、内存类型、电源管理和其他电路类型上进行更高级别的定制。

最特别的是,Falcon Shores可以按需配置不同区块模块,尤其是x86CPU核心、XeGPU核心,数量和比例都非常灵活,就看做什么用了。

目前,英特尔已开放其 x86 架构进行许可,并制定了Chiplet策略,允许客户将 Arm 和 RISC-V 内核放在一个封装中。

最近,AMD同样打开了定制的大门。AMD首席技术官Mark Papermaster在分析师日会议上表示:“我们专注于让芯片更容易且更灵活实现。”

AMD允许客户在紧凑的芯片封装中实现多个芯粒(也称为chiplet或compute tiles )。AMD已经在使用tiles,但现在AMD允许第三方制造加速器或其他芯片,以将其与x86 CPU和GPU一起包含在其2D或3D封装中。

AMD的定制芯片战略将围绕新的Infinity Architecture 4.0展开,它是芯片封装中芯粒的互连。专有的Infinity结构将与CXL 2.0互连兼容。

Infinity互连还将支持UCIe(Universal Chiplet Interconnect Express)以连接封装中的chiplet。UCIe已经得到英特尔、AMD、Arm、谷歌、Meta等公司的支持。

总体而言,AMD的服务器GPU轨迹与英特尔、英伟达非常相似。这三家公司都在向CPU+GPU组合产品方向发展,英伟达的GraceHopper(Grace+H100)、英特尔的Falcon Shores XPU(混合和匹配CPU+GPU),现在MI300在单个封装上同时使用CPU和GPU小芯片。在所有这三种情况下,这些技术旨在将最好的CPU和最好的GPU结合起来,用于不完全受两者约束的工作负载。

市场研究公司Counterpoint Research的研究分析师Akshara Bassi表示:“随着芯片面积变得越来越大以及晶圆成品率问题越来越重要,多芯片模块封装设计能够实现比单芯片设计更佳的功耗和性能表现。”

Chiplet将继续存在,但就目前而言,该领域是一个孤岛。AMD、苹果、英特尔和英伟达正在将自研的互连设计方案应用于特定的封装技术中。

2018 年,英特尔将 EMIB(嵌入式多硅片)技术升级为逻辑晶圆 3D 堆叠技术。2019 年,英特尔推出 Co-EMIB 技术,能够将两个或多个 Foveros 芯片互连。

AMD率先提出Chiplet模式,在2019年全面采用小芯片技术获得了技术优势。Lisa Su 在演讲时表达了未来的规划,“我们与台积电就他们的 3D 结构密切合作,将小芯片封装与芯片堆叠相结合,为未来的高性能计算产品创建 3D 小芯片架构。”

今年 3 月 2 日,英特尔、AMD、Arm、高通、台积电、三星、日月光、谷歌云、Meta、微软等十大巨头宣布成立 Chiplet 标准联盟,推出了通用小芯片互连标准 (UCIe),希望将行业聚合起来。

迄今为止,只有少数芯片巨头开发和制造了基于Chiplet的设计。由于先进节点开发芯片的成本不断上升,业界比以往任何时候都更需要Chiplet。在多芯片潮流下,下一代顶级芯片必然也将是多芯片设计。


欢迎分享,转载请注明来源:夏雨云

原文地址:https://www.xiayuyun.com/zonghe/645635.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-07-21
下一篇2023-07-21

发表评论

登录后才能评论

评论列表(0条)

    保存