Negocio Huawei anunció el éxito de su clúster de IA CloudMatrix 384que excede la eficiencia de las soluciones basadas en sistemas en escenarios seleccionados Nvidia. Estoy hablando específicamente sobre trabajar con un modelo de lenguaje grande R1 de Veteranocon hasta 671 mil millones de parámetros. En esta prueba, un clúster basado en aceleradores Ascender 910c logró mejores resultados que un sistema competitivo Nvidia h800E incluso lleno H100.
Aunque no es perfecto, China no tiene otra opción
CloudMatrix 384 a diseño del servidor que consiste en 384 Ascand 910c Systems y 192 CPU dispuesto en 16 armarios de estante. La comunicación se realiza completamente utilizando conexiones ópticas, que garantiza una transmisión rápida de datos. El conjunto es un enfoque intransigente para la IA, especialmente porque Huawei actualmente tiene un acceso limitado a las últimas tecnologías de producción de chips debido a sanciones.
El objetivo chino era «Redefinir los cimientos de la infraestructura de IA». Uno de los ingenieros de la compañía declaró que la investigación era generar confianza en los sistemas chinos de NPU como una alternativa real a Nvidia. CloudMatrix 384 aparentemente ofrece potencia informática del pedido 300 Pflts (para la precisión BF16), mientras que el NVIDIA GB200 NVL72 alcanza aproximadamente 180 PFLOP (BF15).
Sin embargo, no todo se ve tan rosado – El principal problema de CloudMatrix 384 es su consumo de energía. El conjunto se descarga hasta 559 kwque es casi cuatro veces de la demanda de energía NVL72 de Nvidia (145 kW). En términos de eficiencia energética, esto significa que La solución Huawei es en promedio 2.3 veces menos eficiente.
A pesar de esta desventaja, para los clientes chinos, el clúster Huawei puede ser una alternativa atractiva, especialmente porque las regulaciones aplicables les impiden acceder a conjuntos basados en NVIDIA. Además Los precios de la electricidad caen en los últimos años en China (hasta el 40%) Haga que el costo de operar no sea una barrera insuperable.
Jensen HuangCEO en Nvidia, durante el evento Vivatech en Francia, admitió que la tecnología de su compañía es «para una generación delantera» contra Huawei, pero al mismo tiempo señaló que la inteligencia artificial es un problema paralelo, por lo que puede resolverse aumentando el número de máquinas. Y esto es lo que Huawei parece responder: un clúster informático más grande, más potente, aunque menos efectivo.
