十到二十万左右深度学习服务器推荐怎样的配置？

做深度学习的话，我还是可以有立场说些的。因为我们实验室当时就遇到了这些问题，选择深度学习GPU显卡时建议选择专门做液冷的A100或者RTX3090、RTXA6000、RTXA40等卡，蓝海大脑的液冷GPU服务器具有高性能，高密度⌄扩展性强等特点。液冷GPU服务器产品支持1~20块 GPU卡，还可以选择，毕竟能可以选择也是很好的,芯片主要采用龙芯、飞腾、申威、海光、英伟达、Intel、AMD。完全定制啊，敲开心。适用于深度学习训练及推理、生命科学、医药研发、虚拟仿真等场景，覆盖服务器、静音工作站、数据中心等多种产品形态，量身定制，满足客户全场景需求。技术人员给的建议都非常受用。

说到训练推理性能优越的服务器，就不得不提浪潮服务器NF5488A5。它曾屡次打破全球权威AI测试榜单MLPerf的记录，基于ImageNet的ResNet50基准测试显示，NF5488A5完成训练仅需33.37分钟，单机性能高居第一；推理性能达到每秒54.9万张图片，3倍于去年推理榜单的服务器最好性能。然后，在GTC China元脑生态技术论坛上，中科极限元、趋动科技、睿沿科技等元脑生态伙伴分享了多个场景下浪潮AI服务器NF5488A5的实测数据，结果表明浪潮NF5488A5大幅提升了智能语音、图像识别等AI模型的训练和推理性能，促进了产业AI解决方案的开发与应用。

选择GPU服务器时首先要考虑业务需求来选择适合的GPU型号。在HPC高性能计算中还需要根据精度来选择，比如有的高性能计算需要双精度，这时如果使用P40或者P4就不合适，只能使用V100或者P100；同时也会对显存容量有要求，比如石油或石化勘探类的计算应用对显存要求比较高；还有些对总线标准有要求，因此选择GPU型号要先看业务需求。

GPU服务器人工智能领域的应用也比较多。在教学场景中，对GPU虚拟化的要求比较高。根据课堂人数，一个老师可能需要将GPU服务器虚拟出30甚至60个虚拟GPU，因此批量Training对GPU要求比较高，通常用V100做GPU的训练。模型训练完之后需要进行推理，因此推理一般会使用P4或者T4，少部分情况也会用V100。

---