Mac四集群开启RDMA后推理DeepSeek V3.1 AI模型速度提高122

　　这套“豪华”集群由四台搭载 M3 Ultra 芯片的 Mac Studio 组成（两台配备 512GB 内存，两台配备 256GB 内存），通过 Thunderbolt 5 连接，构建了总容量达 1.5TB 的统一内存池，硬件总价值近 4 万美元（现汇率约合 28.2 万元人民币）。

　　在多机集群中，节点间的通信速度往往决定了整体性能。传统的以太网连接通常受限于 10Gb/s 的带宽，而此次测试启用的 Thunderbolt 5 支持将带宽上限提升至 80Gb/s。

　　更为关键的是，苹果在新系统中引入了 RDMA 技术。该技术无需经过对方 CPU 的繁琐处理，允许集群中的某个 CPU 节点直接读取其他节点的内存数据。

　　这意味着四台 Mac 的内存资源被整合成一个巨大的共享池，极大地降低了延迟，为运行单个设备无法承载的超大语言模型（LLM）提供了硬件基础。

　　测试还成功运行了万亿参数级别的 Kimi K2 Thinking 模型，四节点速度达到 28.3 tokens/s，验证了该方案在处理超大规模模型时的可用性。

　　尽管测试结果令人振奋，但该方案仍存在一定门槛。首先是约 4 万美元的高昂成本，虽相比企业级 H100 集群具有价格优势deepseek，但对个人用户依然遥不可及。

　　其次是 Thunderbolt 5 目前仅支持菊花链连接，缺乏专用交换机，限制了集群的无限扩展；此外，测试过程中也出现了基准测试报错等软件稳定性问题。

　　不过，随着未来 M5 Ultra 芯片及 GPU 神经加速器的引入，结合 SMB Direct 等潜在功能的开放，Mac 集群有望成为 AI 研究机构和高带宽需求团队的高效解决方案。

　　IT之家注：RDMA 全称为 Remote Direct Memory Access，直译为远程直接内存访问，是一种允许一台计算机直接读取或写入另一台计算机内存的技术。

　　就像你不用打电话让同事发文件，而是直接把手伸进他的抽屉拿文件一样，过程中不需要对方的大脑（CPU）参与，因此速度极快、延迟极低，常用于高性能计算集群。

　　Thunderbolt 5（雷雳 5）是英特尔发布的新一代连接标准，传输速度翻倍达到了 80Gb/s（特定模式下可达 120Gb/s），能像高速公路一样快速传输海量数据。

　　雷雳 5 集群是指 macOS 现已支持多台电脑通过雷雳 5 端口互联，可将参数庞大的 AI 大语言模型分布运行在多台电脑上，不仅能够分担运算负载，还能够共享内存等硬件资源，同时系统还提升了 AI 运算的整体性能。

　　特别声明：以上文章内容仅代表作者本人观点，不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。

　　特朗普宣布美军将建造“特朗普级”战舰：首舰将名为“无畏”，设想总共建造20至25艘该型战舰

　　新华社政论：循道而行，推动建设一个更加美好的世界——以四大全球倡议为百年变局注入稳定性和确定性原文出处：Mac四集群开启RDMA后推理DeepSeek V3.1 AI模型速度提高122.6%，感谢原作者，侵权必删！