Storage

Micron 6500 ION在基于amd的服务器上提供了巨大的WEKA性能

By Sujit Somandepalli - 2023-07-27
With the launch of the Micron 6500 ION NVMe SSD我们最近有机会执行一些有趣的缩放研究 WEKA™ 1 基于第四代AMD EPYC™9554(64核)的超微平台.

WEKA是高性能的, 基于NVMe™的软件定义存储解决方案,通常用于各种用例的大规模文件存储部署, 包括高性能计算(HPC)和人工智能(AI).

我们在6个集群上进行了测试 Supermicro AS-1115CS-TNR2 基于AMD EPYC 9004系列处理器的单插座服务器, 配备美光DDR5内存和400gb容量, PCIe® Gen5 networking. 该服务器非常适合使用WEKA设计集群存储系统,因为它具有高性能Zen 4内核和简化的单插槽设计. 这些服务器可以支持每个节点最多10个NVMe ssd,测试集群中总共有60个驱动器.

这个6节点的WEKA存储集群连接到12个客户端, 每个都运行灵活的输入/输出测试仪(fio)3 在不同的IO深度(队列深度)下有32个作业.

我们对这个集群的初始测试集中于使用36个驱动器(每6个节点6个驱动器), 然后我们将其扩展到60个驱动器(每6个节点10个驱动器). 结果不言自明.

Sequential performance

在1MB顺序读工作负载中, 我们观察到,每个节点从6个驱动器增加到10个驱动器,读取速度最高可达229GB/s, up from about 164GB/s. 这个结果表明顺序读取提高了近40%. 对于128KB的顺序读工作负载, 我们观察到六驱动器配置的性能几乎翻了一番.

顺序工作负载的写性能最高可达106GB/s左右, 受限于WEKA后端的计算能力.










4KB random performance

我们还进行了小块随机IO测试(四个角), 4KB) with fio, and we observed that, 除了获得更高的每秒输入/输出操作(IOPs)之外,, 10个驱动器的配置为每个操作提供了较低的延迟. 对于100%随机读工作负载, 10个驱动器配置能够在0时实现超过1600万IOPs.平均读延迟为59ms, 100%随机写工作负载达到3%以上.1 million IOPs at 3.19ms average write latency.






Conclusion

我们看到,当我们将每个节点从6个驱动器移动到10个驱动器时,WEKA提供了近乎线性的性能扩展. 这一结果证明,通过使用具有成本竞争力的30TB美光6500 NVMe固态硬盘,可以轻松地在第四代AMD EPYC 9004系列处理器上扩展您的WEKA部署. 
 
  1. 有关Weka的更多信息,请参见 http://www.weka.io/ 
  2. 有关超微AS-115CS-TNS平台的详细信息,请参见 http://www.supermicro.com/en/products/system/clouddc/1u/as-1115cs-tnr
  3. For details on FIO, see http://fio.readthedocs.io/en/latest/fio_doc.html
 
Sujit Somandepalli

Sujit Somandepalli

Sujit Somandepalli是美光科技的首席存储解决方案工程师.

+