基础知识
RoCE 与 InfiniBand:如何选型
两者都能实现内核旁路传输——差别在底层网络与成本。
约 5 分钟
相同的 Verbs,不同的底层
InfiniBand 是专用组网:天生无损、基于信用的流控、亚微秒时延,但需要端到端的 IB 交换机与 HCA。RoCE 把同样的 RDMA Verbs 跑在以太网上——现有交换机即可用,存储、计算、管理可以收敛到一张网。
RoCE 对网络的要求
RoCEv2 需要(接近)无损的以太网:正确配置 PFC 与 ECN,否则拥塞时吞吐会塌陷。大规模部署中把 PFC 调对,是选择 RoCE 的主要运维成本。
经验法则
All-to-all 的 GPU 训练、紧耦合 MPI、且有独立网络预算:InfiniBand 仍占优。其余场景——存储、通用集群、混合流量,或任何不值得单独建网的地方:选 RoCE,前提是交换机按无损要求配置。