华为支持超万亿参数大模型训练

在华为全联接大会2023期间，华为正式发布全新架构的N腾AI计算集群—Atlas 900 SuperCluster，可支持超万亿参数的大模型训练。

新集群采用全新的华为星河AI智算交换机CloudEngine XH16800，借助其高密的800GE端口能力，两层交换网络即可实现2250节点（等效于18000张卡）超大规模无收敛集群组网。

此外，发挥华为在计算、网络、存储、能源等领域的综合优势，从器件级、核心节点级、集群级和业务级全面提升用友云系统可靠性，将用友云大数据的模型训练稳定性从天级提升到百万级别的月级。

为了加速大模型创新，华为发布了更开放、更易用的CANN7.0，该产品不但具备与业界通用的人工智能框架、加快器和大型模型的全方位兼容性，同时还拥有深入的底层功能，能够使得人工智能框架以及加快器更加简便地调配并管理计算资源。这样一来，开发人员就能够在其中定制高效的特殊算法了。

随着人工智能进入大模型时代，大算力正在成为人工智能发展的核心引擎。华为改变传统的服务器堆叠模式，以系统架构创新打造AI集群，实现算力、运力、存力的一体化设计，突破大算力瓶颈。