Con un rendimiento de 40 TOPS, el módulo de aceleración de IA generativa Hailo-10H M.2 es capaz de permitir la ejecución de grandes modelos de lenguaje en ordenadores al borde de la red.
Hailo, especialista en chips de procesamiento de inteligencia artificial para aplicaciones en el borde de la red (edge), presenta su nuevo módulo de aceleración de IA generativa Hailo-10H M.2.
Gracias, precisamente, al uso de este formato M.2 (2242/2280 con interfaz compatible PCIe Gen-3.0 x4), podemos integrarlo fácilmente en ordenadores y dispositivos en el borde, proporcionando a la máquina que lo aloja una ejecución en tiempo real de inferencia de redes neuronales profundas. Además, y al ser un formato estándar, su despliegue es también muy rápido, incluso en máquinas previamente existentes que no cuenten con este refuerzo para aplicaciones de IA.
Lo que distingue al Hailo-10H es, según la fabricante, su capacidad para ejecutar dichas tareas con un consumo energético reducido, adecuado para una amplia gama de aplicaciones y segmentos de mercado.
El corazón del Hailo-10H es su procesador de IA, capaz de entregar hasta 40 tera-operaciones por segundo (TOPS). Es un chip que posee una arquitectura única, potente y escalable, centrada en el flujo de datos y la estructura, que optimiza las propiedades intrínsecas de las redes neuronales. Lo acompañan 8 GB de memoria de tipo LPDDR4.
Soporte para los frameworks de IA más populares
En principio, este módulo ofrece tal rendimiento que es capaz de ejecutar, sin problemas en local, cualquier modelo de IA generativa, incluyendo los modelos de lenguaje de gran tamaño (LLM), minimizando la carga sobre la CPU y la GPU. Y, todo ello, con un consumo muy ajustado, de menos de 3,5 W.
El módulo viene complementado con un robusto paquete de software que respalda los modelos de aprendizaje profundo más avanzados y aplicaciones de IA generativa: TensorFlow, TensorFlow Lite, Keras, PyTorch y ONNX. No obstante, el único sistema operativo indicado por la fabricante para trabajar con él es Microsoft Windows.
A nivel de arquitecturas hardware, eso sí, podemos emparejarlo tanto con máquinas x86-64, como ARM aarch-64.
Si quieres conocer más, en el “Servicio al lector de NTDhoy” puedes solicitar más información sobre el Hailo-10H M.2. Y en nuestros monográficos Especial tarjetas CPU y Especial Box PC podrás encontrar información sobre los ordenadores con los cuáles podrás utilizar este módulo.
