[GPU硬件架构]NVIDIA Ampere 架构：第三代 Tensor Core

摘录自 NVIDIA Ampere Architecture In-Depth 一文中关于 Tensor Core 的部分

NVIDIA A100 是基于Ampere 架构推出的一款GPU芯片，计算能力8.0。Tensor Core 是 NVIDIA 的先进技术，可实现混合精度计算，并能根据精度的降低动态调整算力，在保持准确性的同时提高吞吐量。

GA100 GPU 的完整实现包括以下单元：

GA100 GPU 的 A100 Tensor Core GPU 实现包括以下单元：

基于 NVIDIA Ampere 架构的 A100 Tensor Core GPU 中的新 SM 大大提高了性能，在 Volta 和 Turing SM 架构的基础之上，增加了许多新功能。

如上图所示，TP32提供了与FP32相同的表示范围（与 FP32 相同，具有8 位指数），但与FP16相同的表示精度（与 FP16 相同，具有10 位尾数）。TF32 Tensor Core 读取 FP32 数据作为输入并在内部转换为TF32数据，最终产生FP32 输出。因此在A100中可以使用TF32加速FP32的张量计算，并同时支持FP32数据的输入和输出。其运行速度比 V100 FP32 FMA 操作快 10 倍，或者在稀疏时快 20 倍。

近日，AMD首席财务官Devinder Kumar在一场会议上表示，AMD随时准备在需要的情况下生产Arm芯片，并透露有客户希望与AMD合作开发基于Arm的解决方案。

目前，在数据中心市场中，Arm正在受到越来越多的超大规模数据中心企业的青睐。比如亚马逊正在使用自研的Graviton Arm服务器芯片，微软、甲骨文、腾讯、百度等在使用Ampere Computing的Altra系列Arm架构芯片。

在被问到Arm架构与x86架构在服务器市场的竞争格局时，Kumar认为无论是x86还是Arm，甚至是其他领域，这些都是AMD专注的投资领域。与此同时，Kumar表示AMD依然相信x86是AMD在服务器领域的优势，但对于AMD而言，最终目的都是向客户提供高性能的计算解决方案。“我们与Arm也有非常好的关系，我们了解到，一些客户希望与我们合作使用非x86架构的解决方案，尽管我们认为AMD的x86架构在服务器领域有优势，但我们愿意与客户合作，交付他们所需的解决方案。”

值得一提的是，AMD其实早已获得Arm IP授权，并且在Arm架构方面也有一定的经验。在2012年，AMD宣布了一个“违背祖宗的决定”，表示“将会设计基于64-bit ARM架构的处理器，首先从云和数据中心服务器领域开始。”

很快，2014年AMD就发布了第一款Arm处理器Opteron A1100系列，基于64-bit ARM Cortex-A57架构，构型为4核或8核可选，频率超过2GHz。

在这一年，AMD还雄心勃勃地提出了史无前例的“Project Skybridge”工程，希望实现x86、Arm两种架构的针脚兼容。AMD首席架构师Jim Keller大神也在2014年着手开发自主设计的64位ARMv8架构核心——K12项目，AMD希望将其应用于高密度服务器、嵌入式、半定制、超低功耗等领域。

不过，伴随着Jim Keller离职出走特斯拉，2016年Opteron A1100系列平台开发板开售之后，除了据称K12架构被用在安全用途的嵌入式MCU，但未进入市场之外，AMD的Arm架构项目就没有其他更多消息了。

从目前Arm架构的应用以及AMD业务范围上猜测，如果AMD决定投入到Arm架构芯片中，一是提供现成的标准数据中心或桌面高性能处理器解决方案，二是通过定制业务，让客户根据需求定制Arm芯片。

对于服务器处理器而言，定制化确实是目前的一个趋势，最显著的例子就是亚马逊。因为数据中心可以通过定制ASIC来提高完成特定任务的效率，在全球数据中心需求不断增长的如今，也越来越多超大规模数据中心企业采用定制的ASIC来取代以往的通用处理器，以提高运行效率。

而AMD的竞争对手英伟达已经在Grace服务器CPU中使用Arm架构，甚至已经着手收购Arm，只待各国监管部门通过；英特尔也正在为Arm架构芯片提供代工业务。

另一方面，Arm处理器在PC端的份额已经创下 历史 记录，并在不断增长中。不过相比于数据中心处理器，PC端使用Arm架构似乎未有展现出太大的必要性。作为Arm架构的领军者，苹果M1芯片相比AMD最新的移动端x86芯片依然存在一定差距，对于AMD而言，在PC端继续追赶英特尔的x86处理器市场份额才是他们的首要任务。

---