前言，前几天网上公开了马斯克xAI十万卡集群的宣传视频，由超微赞助通过一个老外在数据中心现场用15分钟的时间介绍了十万卡集群的一些情况，比如部署密度、机柜分布、液冷方案、维护方式、网卡配置、交换机规格、供电情况等，但是并未透漏太多和组网设计、存储系统以及训练模型进展相关的内容，接下来通过十个看点和大家展开聊聊！
一、集群规模大
我们国内常见的集群规模通常是千卡集群，对应128台H100整机，十万卡正好是100倍，H100整机约需要12800台，而且宣传仅需122天完成部署，这个非常夸张，也让我们看到了国内和国外在GPU集群方面的差距。
二、算力密度高
从视频中可以看到，H100采用的是4U机架式设计，一台机柜就部署了8台，一台机柜对应64卡，一列机柜对应8个机柜，8×64则为512卡；十万卡的规模大概就有200列机柜。
从供电角度，国内目前都是1个机柜放置1-2台H100机器的居多，一台H100是10.2kw，8台机器就超过了80kw，这个为我们国内后续高密的集群部署提供了参考。
三、冷板式液冷规模化落地
液冷技术在国内也已经发展多年，真正大规模交付的并不多见，从视频可以看出10万卡集群采用的是目前主流的冷板式液冷方案，冷板的覆盖范围为GPU和CPU芯片（其他部件比如内存、硬盘等依然需要风冷来散热），在每个机柜最下端分别配置一台CDU（液冷分配单元），这个属于分布式CDU的部署方式，从可靠性方面CDU配置了冗余的“水泵”避免单个故障出现的系统中断。
四、网卡和组网方案选择-Roce
虽然视频中并未详细介绍组网拓扑，但是提到了每台H100设备配置了8张mellanox的BFD-3（八张GPU和BFD-3实现一一对应）和1张CX7的400G网卡，这个和我们目前国内出货的配置其实是不同的，视频中未作出详细解释，另外从网络方案上采用了Roce，并非目前国内非常主流的IB组网，可能的原因有二，一是从价格成本上Roce要比IB更优性价比，二是从Roce的组网成熟度上，已经可以胜任十万卡的集群规模，但是交换机品牌依然选择的是mellanox。
五、交换机型号和规格
视频中介绍交换机型号为NVIDIA Spectrum-x SN5600的以太网交换机，拥有64个800G的物理接口，可以转换出来128个400G接口，在组网方案设计时可大幅减少交换机的数量，这个在未来可能成为大趋势。
六、GPU服务器维护模块化
我们都知道H100的故障率要比通用服务器高出很多，一旦出现问题更换维修就非常痛苦，视频中展示了超微4U的H100平台，支持GPU模块、CPU模块的抽屉式维护，如下图所示有个把手的位置可以抽出维护，而不需要把整个服务器都拆下来，大幅提升了运维的效率。
七、机柜颜色指示灯
如下图所示，蓝色效果带来很强科技感的同时，可以表示设备的运行状态为正常，一旦某个机柜设备出现问题可以通过颜色知识灯的变化，让运维人员快速找到故障的机柜，这个不是什么高科技，但是比较有意思。
八、通用服务器依然需要
很多朋友在进行智算中心方案设计时经常会忽略通用服务器，GPU服务器虽然是核心，但是很多辅助类的管理任务依然需要通用服务器来支撑，视频中展示了高密的1U服务器提供CPU算力，与GPU节点是并存的，并不冲突，CPU节点更多的是支撑管理相关的业务系统。
九、存储系统同样重要
视频中虽然没有详细介绍存储系统的设计，但是作为智算中心必不可少的模块也简单进行了展示，存储是支持训练系统数据存储的核心，性能如何直接影响到训练的效率，因此智算中心通常选择高性能的GPFS存储构建分布式的文件系统。
10、供电保障系统
视频中展示了专门为十万卡集群准备的大型电池组，先将电力系统接到电池组，在通过电池组给集群供电，能有效降供电不稳带来的隐患，未透露太多信息，但是能够充分说明供电对智算中心系统的重要性。
十一、未完待续，集群规模在持续扩大
视频最后介绍了十万卡集群只是阶段性规模，系统工程还在持续进行中。
—-老张会持续通过公众号分享前沿IT技术，创作不易，大家多多点赞和关注！