[China, Shenzhen, 14 de julio de 2023] Hoy, Huawei presentó su nueva solución de almacenamiento de IA para la era de los modelos a gran escala, que proporciona soluciones de almacenamiento óptimas para el entrenamiento básico de modelos, el entrenamiento de modelos específicos de la industria y la inferencia en escenarios segmentados, de esta manera liberando nuevas capacidades de IA.
En el desarrollo e implementación de aplicaciones de modelos a gran escala, las empresas enfrentan cuatro desafíos principales:
En primer lugar, el tiempo necesario para la preparación de los datos es largo, las fuentes de datos están dispersas y la agregación es lenta, lo que lleva unos 10 días preprocesar cientos de terabytes de datos. En segundo lugar, para modelos grandes multimodales con conjuntos de datos de imágenes y texto masivos, la velocidad de carga actual para archivos pequeños masivos es inferior a 100 MB/s, lo que resulta en una baja eficiencia para la carga de conjuntos de entrenamiento. En tercer lugar, los frecuentes ajustes de parámetros para modelos grandes, junto con las plataformas de entrenamiento inestables, provocan interrupciones del entrenamiento aproximadamente cada 2 días, lo que requiere que el mecanismo Checkpoint reanude el entrenamiento, y la recuperación dura más de un día. Por último, los altos umbrales de implementación para modelos grandes, la configuración compleja del sistema, los desafíos de programación de recursos y la utilización de recursos de GPU a menudo son inferiores al 40 %.
Huawei se está alineando con la tendencia del desarrollo de la IA en la era de los modelos a gran escala, ofreciendo soluciones adaptadas a diferentes industrias y escenarios. Presenta el almacenamiento de lago de datos de aprendizaje profundo OceanStor A310 y el dispositivo superconvergente de capacitación/inferencia FusionCube A3000. OceanStor A310 Deep Learning Data Lake Storage se dirige a escenarios de lagos de datos de modelos grandes tanto básicos como a nivel industrial, logrando una gestión integral de datos de IA desde la agregación de datos, el preprocesamiento hasta el entrenamiento de modelos y aplicaciones de inferencia. El OceanStor A310, en un único rack de 5U, admite un ancho de banda de 400 GB/s líder en la industria y hasta 12 millones de IOPS, con escalabilidad lineal de hasta 4096 nodos, lo que permite una comunicación fluida entre protocolos. El Sistema de archivos global (GFS) facilita el tejido inteligente de datos entre regiones, agilizando los procesos de agregación de datos. La informática de almacenamiento cercano realiza el preprocesamiento de datos cercanos, lo que reduce el movimiento de datos y mejora la eficiencia del preprocesamiento en un 30 %.
El dispositivo superconvergente de entrenamiento/inferencia FusionCube A3000, diseñado para escenarios de entrenamiento/inferencia de modelos grandes a nivel industrial, atiende aplicaciones que involucran modelos con miles de millones de parámetros. Integra nodos de almacenamiento de alto rendimiento OceanStor A300, nodos de entrenamiento/inferencia, equipos de conmutación, software de plataforma de inteligencia artificial y software de administración y operación, brindando a los socios de modelos grandes una experiencia de implementación plug-and-play para una entrega integral. Listo para usar, se puede implementar en 2 horas. Tanto los nodos de entrenamiento/inferencia como los de almacenamiento se pueden expandir de forma independiente y horizontal para cumplir con los diversos requisitos de escala del modelo. Mientras tanto, FusionCube A3000 utiliza contenedores de alto rendimiento para permitir múltiples tareas de inferencia y entrenamiento de modelos para compartir GPU, lo que aumenta la utilización de recursos del 40% a más del 70%. FusionCube A3000 admite dos modelos de negocios flexibles: la solución integral Huawei Ascend y la solución integral de socios externos con software de plataforma de inteligencia artificial, redes y computación abierta.
El presidente de la línea de productos de almacenamiento de datos de Huawei, Zhou Yuefeng, afirmó: “En la era de los modelos a gran escala, los datos determinan el apogeo de la inteligencia artificial. Como portador de datos, el almacenamiento de datos se convierte en la infraestructura fundamental clave para los modelos de IA a gran escala. Huawei Data Storage continuará innovando, brindando soluciones y productos diversificados para la era de los grandes modelos de IA, colaborando con socios para impulsar el empoderamiento de la IA en una amplia gama de industrias”.
Hora de publicación: 01-ago-2023
