服务器DPDK l3fwd性能测试

由于项目中需要用到dpdk，当时在服务器平台选型上有如下2种不同配置可供选择，为了理解老的Xeon处理器和Xeon金牌处理器对DPDK转发性能的影响，需要在两台服务器上分别进行DPDK l3fwd性能转发测试。

采用如下拓扑进行测试，测试仪的4个10GE端口连接X710-DA4的4个接口，测试时测试仪的4个端口同时打流，经过服务器DPDK转发后分别从X710-DA4网卡的不同接口送出，在测试仪的4个端口查看是否有丢包。在无丢包的情况下测试仪端口打流的最大速率即为服务器端DPDK能够提供的最大转发能力，以MPPS为单位。

(1) 在服务器上运行dpdk

./examples/l3fwd/x86_64-native-linux-gcc/l3fwd -l 4,6,8,10 -n 4 -w 0000:04:00.0 -w 0000:04:00.1 -w 0000:04:00.2 -w 0000:04:00.3 -- -p 0xf --config="(0,0,2),(1,0,4),(2,0,6),(3,0,8)"

运行l3fwd前有一些准备工作：

上述是DPDK官方的性能测试报告中建议的BIOS配置，在实际测试用我没有修改CPU C-state和P-state，并关闭了超线程的功能。

也可以通过 cat /sys/class/net/p6p1/device/numa_node 查看

在上述操作完成后便可以知道dpdk运行时应该设置参数。

(2)测试仪打流

在l3fwd运行起来后，会添加192.18.0.0/24、192.18.1.0/24、192.18.2.0/24、192.18.3.0/24四个网段的路由，因此在测试仪端4个端口设置流的时候需要将流的目的IP地址分别设置为上述4个网段的地址，流的目的MAC地址设置为对应接口的MAC地址。

上述的DUT2对应Server01，DUT3对应Server02，DUT1的性能数据和配置是从DPDK的性能测试报告中拿到的。DUT1、DUT2和DUT3的配置对比如下。

从测试结果可以看出，DUT3上运行DPDK就能够实现64字节数据包的线速转发。对比DUT2和DUT3的转发性能可以看出，基于 Xeon Gold 5118处理器的平台相比老的Xeon处理器平台，转发性能是有一定提升的。

当然，从我个人的理解来看，现在的转发测试只是测4条路由表的情况，路由表均能够存放到处理器的一级cache中，没有大规模内存访问的压力。如果有大规模的路由表或者服务器上多个网卡同时收发数据，并且涉及到跨网卡之间的数据包转发，当前的服务器能否实现性能的线性扩展还需要后面进一步测试。

Windows服务器中自带的性能监控工具叫做Performance Monitor；

在开始-运行中输入‘perfmon’，然后回车即可运行。

Monitor本身也是一个进程，运行起来也要占用一定的系统资源。所以你看到的资源的使用量应该比实际的要稍微高一点。这个工具在帮助管理员判断系统性能瓶颈时非常有用；

举个列子来说，今天有个用户抱怨说他们项目组的服务器（这是一台虚拟机）运行起来非常慢，但也不知道具体问题出在什么地方。任务管理器里显示CPU和内存的使用量都不算高，但服务器的相应就是非常慢；

Monitor，让其运行一段时间后（因为参考平均值会比较准确），发现average disk queue的值比较高，这就说明物理服务器的硬盘负荷太重，I/O操作的速度跟不上系统的要求。关掉虚拟机，将其转移到另一台硬盘负载比较小的主机上，再打开虚拟机。

分析性能情况

1、内存泄露判断

虚拟内存字节数（VirtualBytes）应该远大于工作集字节数（Workingset），如果两者变化规律相反，比如说工作集增长较快，虚拟内存增长较少，则可能说明出现了内存泄露的情况。

对于Workingset、Private Bytes、Available bytes这些计数器，如果在测试期间内数值持续增长，而且测试停止后位置在高水平，则也说明存在内存泄露。

Windows资源监控中，如果Process\PrivateBytes计数器和Process\WorkingSet计数器的值在长时间内持续升高，同时Memory\Available

bytes计数器的值持续降低，则很可能存在内存泄漏。

2、CPU使用情况

一般平均不要超过70%，最大不要超过90%（好：70% 、坏：85%、 很差：90%）。

3、tps（每秒处理事务的数量，在SOAPUI中进行统计）

一般在10-100，不同应用程序具体值不同。

---