什么是HPC内存墙？

高性能计算机记忆墙通常是指处理器速度和内存带宽之间的较大差距。这在系统的一般性能中创造了瓶颈，尤其是在人工智能（AI）等密集的内存应用中。在本文中的任命：在本文中，我们首先研究了记忆墙的传统定义，然后是另一种视图。这与AI模型中的内存能力和参数数量的增长相比。无论是什么定义，记忆墙都到了。这是一个严重的问题。您将结束爬墙或至少降低墙壁高度的技术。当然，HPC定义已经发展。几年前被认为HPC不再符合最后一个定义。基于使用内存带宽的处理器性能每秒（FLOP）的处理器性能的比较，此问题已经存在了25年以上（图1）。记忆性能有所提高很大程度上，但是无法维持数据处理器技能的访问和发送数据的能力。图1。HPC是处理器性能和内存带宽之间的差距。 （照片：Astera Labs））内存墙使处理器可以花越来越多的时间等待内存。这意味着无法提供高性能昂贵的处理器的某些特征。在包括大型数据库和复杂计算的HPC应用程序中，这可能是一个严重的问题。 HPC是一个重要的工具，尤其是培训AI模型。当AI在2015年左右出现时，典型模型中的参数数量相对较小。您在其他应用程序中所处的内存墙不是问题，因为您不需要最佳的HPC性能。由于AI模型的复杂性的迅速增加超过了处理器性能的改善（图2），因此这发生了变化（图2）。在接下来的几年中，AI应用程序的存储墙的高度将继续进行OW，可能成为AI性能新进步的限制因素。人工智能的重要性日益增加，增加了处理HPC记忆墙的紧迫性。图2。从越来越复杂的AI模型的角度来看，HPCLE内存战争也可以看到。 （照片：AYAR实验室））如图1所示，多个图形双生成数据数据技术（GDDR）和高频带存储技术（HBM）仅降低了存储墙的增长率，但问题无法解决。还使用了几种内存管理方法，例如在处理器附近存储共同数据的多个级别层次缓存，以及通过减少访问主内存的需求来提高性能的先前指令。最大化内存使用的优化算法还可以帮助减少存储墙的影响。具有更有效使用的数据构建可最大程度地减少缓存失败并改善性能。最近的发展并不是未经处理的内存性能的改进，而是专注于新的计算机和内存体系结构以扩展墙壁。新的体系结构方法的示例包括内存处理（PIM）和内存计算（CIM），也称为内部和保留的计算机科学（BMI）。 CIM是一种基于硬件的体系结构，可直接在内存存储中执行计算。这减少了发送数据并加速计算的需求。 BMI是一种硬件方法和软件。该数据在RAM中进行处理以进行性能，并且可以与多个核并行使用。 CIM和BMI可以从本地内存计算扩展标准（CXL）中受益。 CXL附加的内存通过允许有效的内存交换并扩展可用于多个处理器的内存容量和带宽来解决HPC内存墙问题。使用PCIE物理层提供低延迟和高带宽通信，从而促进CPU和其他内存之间的有效数据传输。 CXL通过确保内存来简化内存管理CCESSE是一致的，并且所有处理器都具有一致的内存视图。它提供了更有效的结构和使用工具，帮助HPC系统克服了记忆墙的挑战。 HPC存储器墙的处理器速度依赖于增加延迟内存的数量和宽度之间的较大差距，但是与AI模型中复杂性的增加相比，也可以定义。根据所有定义，它正在增长，并且是一个越来越严重的挑战。设计人员可以使用各种工具来增加或降低HPC存储墙的高度。