以ChatGPT为代表的生成式AI让人们看到了智能世界的无限可能,指数级增长的多元化数据为千行百业的AI场景化奠定了基础,而如何有效地采集、存储、传输、处理数据和模型则成为实现高质量AI的关键。在Rambus大中华区总经理苏雷看来,AI大流行的时代,训练和推理都需要海量的数据支持,对于内存产品来说,首先是满足高带宽的要求,其次就是要考虑成本和复杂性,“GDDR技术在带宽、成本和方案复杂性的各因素之间,提供了一种完美的折中技术方案。”
(资料图片)
Rambus大中华区总经理苏雷
作为一家领先的芯片和半导体IP供应商,Rambus致力于使数据传输更快更安全,关注产品的产品和方案的易用性,通过一站式的解决方案以及完善的服务机制,使产品方案变得更容易在客户端集成使用。产品方面,Rambus的内存接口芯片不断提高数据中心内存模块的速度和容量,数据安全方面,Rambus有着丰富的安全IP产品线,对用于静态数据和动态数据安全保护都有专门的产品方案,包括安全信任和MACsec和Ipsec等等,整体来说,Rambus的产品应用领域聚焦于服务器、主内存、智能网卡、网络服务和交换机,以及面向未来的内存扩展和池化等市场。
AI技术的深入应用推动了场景化智能的快速发展,数以千亿计的参数模型越来越多,对处理器和带宽提出了更高的要求,很多企业都开始研发定制化的处理器产品,以更好地满足神经网络和特定应用。然而,算力的显著增长并未带来带宽的同步改善,很多GPU资源没有得到充分的使用。把多样化的数据进行分析、导入模型训练之后,会在应用场景端进行推理,NLP、数据库管理等应用越来越多的出现在边缘环境中,数据传输量和响应延迟大幅下降。
“随着AI推理的应用不断向边缘端迁移,我们会把已经训练过的系统实现更快的处理方式,处理速度的提高是非常大的迁移到边缘端的优势。正是在这个变化的趋势过程中,GDDR6也开始发挥作用。”Rambus IP核产品营销高级总监Frank Ferro谈到,“作为更加理想的方案,GDDR6有着高带宽和低时延的特性,能够帮助边缘端更好地处理数据。”
Rambus IP核产品营销高级总监Frank Ferro
如今,GDDR在AI/ML场景(如AI推理等)中有着广泛的使用,还会应用于图形计算、网络等场景。与DDR相比,GDDR在带宽、速度、功耗等方面有着显著优势,吸引了更多的客户将其结合到各类先进设计中。通过Rambus GDDR6 PHY,客户可以获得24Gb/s的数据传输速率,为每个GDDR6内存设备带来96GB/s的带宽。作为系统级解决方案的一部分,Rambus GDDR6可以为AI/ML、图形和网络应用提供高效益、高带宽、低延迟的内存接口解决方案。同时,RambusGDDR6 PHY还有着更优的功耗管理表现。
Rambus的产品实现了PHY和控制器的完整集成,其内存接口系统包括PHY物理层、控制器、DRAM和客户端ASIC,其中,PHY的物理层与DRAM直接相连,接口由两个16位插槽组成,共32位,另一侧的DFI接口与内存控制器连接,控制器会直接接入整个系统的逻辑控制。Rambus会提供下图中的蓝色部分——即完整的子系统(与Rambus GDDR6数字控制器IP相结合),使得客户可以根据场景所需进行定制化使用。此外,Rambus可以保障良好的系统级信号完整性和电源完整性(SI/PI),并且支持LabStation开发环境,能够快速建立系统,进行特性分析和调试。
GDDR6内存接口子系统(控制器+PHY)
在GDDR6时代,有更多的产品开始采用16位双读写通道,可以显著增加数据的传输速度和效率,使得GDDR6内存中的8个双读写通道能够实现256位的数据传输宽度,进一步提升了系统层的效率、优化了功耗,还可以在边缘环境中大幅降低设备对DDR数量的要求。在AI推理场景中,通常的带宽需求在200-500Gb/s之间来,每个GDDR6设备的带宽可以达到96Gb/s,通过将4-5个GDDR6设备进行组合,就能轻松满足500Gb/s及以下的带宽需求。
如果是在云端进行AI训练,对成本因素不敏感的话,也可以选择更大带宽的HBM,如果是边缘端则使用GDDR6效益更好,原因在于,HBM3设备能提供接近800Gb/s的带宽,远超AI推理所需的500Gb/s,考虑到其内存设计和制造难度较高,以及高度集成性(会使用一些中间插入层来处理和传输数据),并且可能需要更多的板卡空间,会导致成本会提升数倍。
除此之外,Rambus还有着更多的特性,包括clamshell模式,即每个信道可以支持两个GDDR6的设备,相当于该模式下整个容量翻倍。GDDR6支持先进的FinFET工艺节点,并且会针对PCB和封装提供相关的参考设计。在开发GDDR6子系统的时候,首先会对数据流进行模拟和建模,这一过程要确保最佳的数据输出量和吞吐量,控制器、优化器会进一步管理内存数据,利用Look-Ahead技术,可以更好地通过数据顺序内存位置进行精准预测,提供更优的数据路径规划,提前了解下一批进入DRAM的数据类型,优化应对机制。
Rambus能够提供灵活的解决方案和一站式服务,包括PHY和控制器集成解决方案,以及全套的测试软件用于快速启动、校准和调试,使用交钥匙的方式把集成测试好的子系统交付给客户,加速芯片产品上市时间。如果客户已经拥有控制器IP,只需要PHY IP授权,Rambus也可以单独授权,并会提供后续相关的集成支持。今年夏季,Rambus GDDR6预计会推出完整的最终硅片,并计划在2025-2026年有厂商会上市使用GDDR6 IP的芯片。“GDDR会应用在图形处理器、自动驾驶、AI、5G基础架构等场景中。Rambus24Gbps GDDR方案的推出,将这些应用提供更高级别的性能和更多的选择。”苏雷说。