利用 InfiniBand 提升 HPC 和 AI 工作负载的性能 (利用insert语句添加一条记录)

文章编号：34703 / 分类：行业资讯 / 更新时间：2024-12-12 13:57:27 / 浏览：次

随着高性能计算 (HPC) 和人工智能 (AI) 应用程序变得越来越复杂，对数据传输速度和带宽的需求也在不断增长。InfiniBand 是一种高速互连技术，可满足这些需求，并为 HPC 和 AI 工作负载提供显著的性能提升。

InfiniBand 的优势

极高的带宽：InfiniBand 提供高达 200 Gbps 的带宽，比传统以太网快得多。
低延迟：InfiniBand 具有极低的延迟，这对于时间敏感型应用程序至关重要。
可扩展性：InfiniBand 网络可以轻松扩展，以支持大量节点和设备。
可靠性：InfiniBand 是一种高度可靠的技术，可确保数据传输安全无误。

InfiniBand 的应用场景

HPC：InfiniBand 广泛用于 HPC 集群，为计算节点提供快速可靠的数据通信。
AI：InfiniBand 可为 AI 应用程序提供所需的带宽和延迟，以便有效地训练和部署模型。
大数据分析：InfiniBand 可加速大数据集的处理，使数据分析师能够更快地获得见解。
云计算：InfiniBand 可以在云环境中提供高性能网络，支持要求苛刻的工作负载。

结论

随着 HPC 和 AI 领域不断发展，InfiniBand 将继续发挥至关重要的作用，为这些应用程序提供所需的性能提升。其极高的带宽、低延迟、可扩展性和可靠性使其成为满足未来计算需求的理想选择。

什么是网络计算？

在网络世界中，一种革命性的计算范式正在悄然兴起，那就是网络计算，它以InfiniBand网络通信技术为核心，为人工智能（AI）和高性能计算（HPC）领域带来了前所未有的突破。这项技术旨在解决传统计算中的瓶颈问题，通过在数据传输过程中嵌入在线计算能力，与GPU和CPU并肩驱动数据中心的扩展性和性能提升。

尤其值得一提的是，NVIDIA Mellanox的SHARP技术在EDR和Quantum HDR InfiniBand交换机上引入了计算引擎，它支持多种算术和聚合操作，能显著降低集合通信的延迟，为大规模集群的扩展性提供了强大保障。 SHARP在HPC中的应用，如在计算密集型任务中，通过协议卸载减轻了CPU和GPU的负担，显著提升了整体性能。在AI领域，特别是分布式训练的场景中，SHARP通过加速模型同步，极大地提高了all-reduce通信的性能，从而推动了训练速度的飞跃提升。

InfiniBand Trade Association、Gil Bloch等专家的研究成果，不断推动着网络计算技术的革新，为我们的数字世界塑造了更高效、更智能的计算环境。这些前沿技术的不断演进，无疑预示着网络计算将在未来发挥更加关键的角色，成为驱动科技发展的关键力量。

一文掌握InfiniBand技术和架构

InfiniBand技术通过简化服务器之间的连接，同时支持服务器与远程存储和网络设备的连接，极大提升了数据传输效率。 OpenFabrics Enterprise Distribution (OFED) 是一组开源软件驱动，为InfiniBand Fabric提供用户级接口程序。 OpenFabrics Alliance (OFA) 发布了OFED的第一个版本，Mellanox OFED支持Linux和Windows操作系统，并提供诊断和性能工具，用于监控InfiniBand网络运行状态。【文章福利】推荐Linux内核源码交流群【】，共享学习书籍、视频资料，前50名可进群领取价值600的内核资料包。 OpenFabrics Alliance致力于开发并推广软件，通过将高效消息、低延迟和最大带宽技术架构应用到最小CPU开销的应用程序中，实现最大应用效率。 2004年，OFA成立，最初是OpenIB联盟，致力于开发基于Linux的InfiniBand软件栈。 2005年，OFA支持Windows操作系统，使软件栈跨平台。 2006年，OFA扩展其章程，包括对iWARP的支持。 2010年，OFA增加了对RoCE (RDMA over Converged)的支持，通过以太网提供高性能RDMA和内核旁路解决方案。 2014年，随着OpenFabrics Interfaces工作组的建立，OFA再次扩大，实现对其他高性能网络的支持。 1999年开始起草InfiniBand规格及标准规范，2000年正式发表。 InfiniBand Architecture (IBA) 在集群式超级计算机上广泛应用，全球HPC高算系统TOP500大效能的超级计算机中有相当多套系统都使用上IBA。除了InfiniBand Trade Association (IBTA) 9个主要董事成员CRAY、Emulex、HP、IBM、intel、Mellanox、Microsoft、Oracle、Qlogic外，其他厂商如Cisco、Sun、NEC、LSI等也在加入或重返InfiniBand阵营。为了满足HPC、企业数据中心和云计算环境中的高I/O吞吐需求，新一代高速率56Gbps的FDR (Fourteen Data Rate) 和100Gpb EDR InfiniBand技术已广泛应用。 InfiniBand大量用于FC/IP SAN、NAS和服务器之间的连接，作为iSCSI RDMA的存储协议iSER已被IETF标准化。相比FC，InfiniBand在性能、延迟和兼容性方面具有优势。 InfiniBand采用PCI串行高速带宽链接，从SDR、DDR、QDR、FDR到EDR HCA连接，可做到极低时延，基于链路层的流控机制实现先进的拥塞控制。 InfiniBand采用虚通道(VL)方式来实现QoS，虚通道是共享物理链接的相互分立的逻辑通信链路，每条物理链接可支持多达15条的标准虚通道和一条管理通道(VL15)。 RDMA技术实现内核旁路，提供远程节点间RDMA读写访问，完全卸载CPU工作负载，基于硬件传出协议实现可靠传输和更高性能。相比TCP/IP网络协议，InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失，接受方在数据传输完毕后返回信号来标示缓存空间的可用性，从而提升了效率和整体性能。 InfiniBand网络基于“以应用程序为中心”的新观点，提供易于使用的消息服务。 InfiniBand消息服务摒弃了传统网络和应用程序之间消息传递的复杂结构，直接使用InfiniBand服务意味着应用程序不再依赖操作系统来传递消息，这大大提高了通信效率。 InfiniBand与其他网络的核心区别在于其基于信用的流量控制系统和远程直接内存访问（RDMA）。 InfiniBand支持远程节点间RDMA读写访问，具备在完全卸载CPU和操作系统的方式下，在两个远程系统的存储区域移动数据的能力。 InfiniBand物理信号技术一直超前于其他网络技术，使其具备比其他任何网络协议都大的带宽。 InfiniBand架构的核心是把I/O子系统从服务器主机中剥离出去，通过光纤介质，采用基于交换的端到端的传输模式连接它们。在InfiniBand架构中，数据通过Hub Link方式连接，目前的标准是Hub Interface 2.0。 Hub Link是一种串行总线，具有良好的可扩展性，主板设计师可以根据需要的总线带宽在内存控制器和HCA之间选择多条Hub Link总线。 InfiniBand规范定义了三个基本组件：HCA、TCA和交换机。 HCA提供从系统内存到InfiniBand网络的通路；TCA提供I/O设备或I/O网络与InfiniBand网络的连接；交换机使多个InfiniBand叶节点互连进一个单一网络，同时支持多个连接。 InfiniBand采用分层协议，每层负责不同的功能。物理层定义了电气特性和机械特性；链路层描述了数据包的格式和数据包操作的协议；网络层是子网间转发数据包的协议；传输层负责报文的分发、通道多路复用和基本传输服务；上层协议包括SDP、SRP、iSER、RDS、IPoIB和uDAPL等。 InfiniBand灵活支持直连及交换机多种组网方式，主要用于HPC高性能计算场景，大型数据中心高性能存储等场景，满足低时延的需求。高性能计算（HPC）是一个涵盖面很广的领域，它覆盖了从最大的“TOP 500”高性能集群到微型桌面集群。在HPC系统中，InfiniBand的低延迟、高带宽和原生的通道架构对于此类系统来说是非常重要的。

高能计算概念

高性能计算（High Performance Computing，简称HPC）是一个计算机科学领域，致力于研究并行算法和开发相关软件，目标是构建和使用高性能计算机。

HPC系统通常包含大量处理器，这些处理器可能作为单台机器的一部分，也可能分布在一台集群中的多台计算机上，共同作为单一计算资源运行。不同类型的HPC系统涵盖了从大型集群到高度定制化硬件的广泛范围。

基于集群的HPC系统通常采用高性能网络互联技术，如InfiniBand或Myrinet，以优化数据传输效率。对于性能要求极高的环境，网状网络结构能提供更短的延迟路径，从而显著提升网络整体性能和传输速率。

HPC研究的核心在于利用并行处理能力解决复杂计算问题。这些系统被广泛应用于科学计算、工程模拟、数据分析、人工智能等领域，为解决大规模、高计算需求的问题提供强大支持。

高性能计算机通过高效的资源管理和优化的计算架构，能够显著加速科学发现、工业设计、金融分析等领域的研究进程。它们在天气预报、药物研发、气候变化预测、基因组学研究等关键科学领域发挥着不可或缺的作用。

总之，高性能计算是推动科技进步、加速科学研究和解决实际问题的强大工具。通过优化算法和利用先进的硬件架构，HPC系统为解决复杂计算任务提供了前所未有的计算能力。

扩展资料

随着科技的发展，人们要求处理事情的速度也在不断的提高，正所谓“高效率办事，快节奏生活”，因此高性能计算（High Performance Computing）也就应运而生,高性能计算机在高性能运算中扮演了重要的角色，高性能计算机的出现，云计算（Cloud Computing）的概念也随之而生，作为一种全新的商业和应用模式“云计算”成为互联网和IT巨头追逐的热点。