“30台AI服务器1个亿？这就是在抢钱啊！”近日，中国移动江苏有限公司发布《中国移动智算中心（南京）2023年智算算力项目算力设备采购项目》招标公告，招标项目内容显示，需采购30台人工智能通用计算设备（训练型），预估金额10890万元（人民币/含税），单价限价363万元/台。从2021年底ChatGPT上线迅速引发广泛关注后，AI行业持续火爆至今，随着行业巨头纷纷下场，AI基础设备的军备竞赛如火如荼。AI训练模型需要大量数据和计算资源，这对网络基础设施提出较高带宽和低时延的要求，很多人立马会想到InfiniBand，但昂贵的方案价格、无法与其他网络设备互通互访的特性以及较长的供货周期让国内AI

本文分享自华为云社区《2个RoCE网卡Bond聚合，实现带宽X2》，作者：tsjsdbd。我们知道操作系统里面，可以将2个实际的物理网卡，合体形成一个“逻辑网卡”，从而达到如主备/提升带宽等目的。但是RoCE网卡，是否也跟普通网卡一样，支持Bond能力呢？答案是的，RoCE也可以组Bond，只是比普通网卡多了一些约束。今天我们就来实际操作一下这个过程，并了解其中需要注意的地方。也欢迎一起交流学习。一、RoCE网卡链路聚合（LAG）根据找到的资料：https://mellanox.my.site.com/mellanoxcommunity/s/article/How-to-Configure-R

ROCEROCE（RemoteDirectMemoryAccessoverConvergedEthernet）是一种网络技术，它结合了RDMA（远程直接内存访问）和以太网交换机的特性。ROCE允许主机之间通过以太网进行高效的直接内存访问，从而提供低延迟、高吞吐量的数据传输。在使用ROCE时，需要在网络中部署支持ROCE的以太网交换机。这些交换机需要具备特定的硬件和软件支持，以实现对RDMA流量的路由、转发和管理。ROCE交换机的存在可以大大降低主机之间的通信延迟，并提供更高的带宽和吞吐量。交换机在ROCE网络中起到关键作用，它们负责将来自不同主机的RDMA流量进行转发和路由。这些交换机需要支持

背景随着现代存储需求越来越快，对数据的传输要求也越来越高，万兆网还未普及，100G以太网需求就已经出现了，实现这种方案主要还是通过FPGA或者ASIC的方式。RDMA作为100G以太网解决方案的一个重要选择，关于RDMA的概念可参考博客https://blog.csdn.net/bandaoyu/article/details/112859853及https://zhuanlan.zhihu.com/p/164908617XILINX公司也有响应的解决方案，当然支持对应的IP对器件等级和型号自然是有要求的，基本上只有VU+级别的器件才支持；xilinx实现RDMA100G以太网主要是利用ERN

转至：RoCE、IB和TCP等网络的基本知识及差异对比-华为在分布式存储网络中，我们使用的协议有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB属于RDMA(RemoteDirectMemoryAccess)技术，他和传统的TCP/IP有什么区别呢，接下来我们将做详细对比。RDMA和TCP/IP面对高性能计算、大数据分析等IO高并发、低时延应用，现有TCP/IP软硬件架构不能满足应用的需求，这主要体现在传统的TCP/IP网络通信是通过内核发送消息，这种通信方式存在很高的数据移动和数据复制的开销。RDMA(RemoteDirectMemoryAccess)技术全称远程直接

摘要：虽然网卡是接入RoCE网络，但其实问题本身是单纯路由相关的，所以看的时候，不用关注RoCE，只当做一个独立子网就行了本文分享自华为云社区《-RoCE多网卡时，报文可以过去，但是回不来》，作者：tsjsdbd。一、网络概要一台机子，接入2个子网，一个普通通信的，一个高速通信的。并且接入高速通信子网，有8张网卡。如下图：本文描述的问题，只关注高速子网这一部分。为帮助理解问题，网络可以简化为：每个网卡，都有分配该子网的一个IP。如下：二、问题现象A只能通B里面的一个IP，其余7个IP都不通。下图为A--->B的结果：图示：只有1个IP能通反过来也一样，后面只讲一个方向的（A-->B）。三、问题