En Meta, las cargas de trabajo de inteligencia artificial están en todas partes, sirviendo como base para numerosas aplicaciones como la comprensión de contenidos, los feeds, la inteligencia artificial generativa y la clasificación de anuncios. Gracias a su integración perfecta con Python, la programación en modo ansioso y las API sencillas, PyTorch puede ejecutar estas cargas de trabajo. En particular, DLRMs son vitales para mejorar las experiencias de usuario en todos los productos y ofertas de Meta. Los sistemas de hardware deben suministrar cada vez más memoria y computación a medida que el tamaño y la complejidad de estos modelos crecen, todo sin sacrificar la eficiencia.
Cuando se trata de procesar de manera altamente eficiente las cargas de trabajo de recomendación únicas de Meta a gran escala, las GPUs no siempre son la mejor opción. Para abordar este problema, el equipo de Meta desarrolló un conjunto de circuitos integrados específicos de la aplicación (ASIC) llamados “Acelerador de Entrenamiento e Inferencia de Meta” (MTIA). Con las necesidades del modelo de recomendación de próxima generación en mente, el primer ASIC de generación incluido en PyTorch para desarrollar un sistema de clasificación completamente optimizado. Mantener a los desarrolladores productivos es un proceso continuo a medida que mantienen el soporte para PyTorch 2.0, lo que mejora drásticamente el rendimiento del compilador de PyTorch.
En 2020, el equipo creó el MTIA ASIC original para manejar las necesidades de procesamiento interno de Meta. Co-diseñado con silicio, PyTorch y los modelos de recomendación, este acelerador de inferencia es parte de una solución de pila completa. Utilizando una tecnología TSMC 7nm, este acelerador de 800 MHz puede lograr 102.4 TOPS con una precisión de INT8 y 51.2 TFLOPS con una precisión de FP16. El TDP, o consumo de energía térmica, del dispositivo es de 25 W.
El acelerador se puede dividir en partes constituyentes, incluidos elementos de procesamiento (PE), recursos de memoria en chip y fuera de chip, e interconexiones en una estructura de cuadrícula. Un subsistema de control independiente dentro del acelerador administra el software. El firmware coordina la ejecución de trabajos en el acelerador, controla los recursos de cómputo y memoria disponibles y se comunica con el host a través de una interfaz de host específica. Se utiliza LPDDR5 para DRAM fuera de chip en el subsistema de memoria, lo que permite la expansión a 128 GB. Más ancho de banda y mucho menos latencia están disponibles para los datos e instrucciones accedidos con frecuencia porque los 128 MB de SRAM en chip del chip se comparten entre todos los PEs.
Los 64 PEs en la retícula están dispuestos en una matriz de 8 por 8. Los 128 KB de memoria SRAM local de cada PE permiten un almacenamiento y procesamiento de datos rápidos. Una red de malla une los PEs y los bancos de memoria. La rejilla se puede utilizar en su totalidad para realizar un trabajo, o se puede dividir en numerosas subrejas, cada una de las cuales puede manejar su trabajo. La multiplicación de matrices, la acumulación, el transporte de datos y el cálculo de funciones no lineales son algunas de las tareas importantes optimizadas por las múltiples unidades de función fija y los dos núcleos de procesador en cada PE. Los núcleos de procesador basados en ISA RISC-V se han modificado ampliamente para realizar las operaciones de cálculo y control requeridas. La arquitectura fue diseñada para aprovechar al máximo dos elementos esenciales para una gestión efectiva de la carga de trabajo: el paralelismo y la reutilización de datos.
Los investigadores compararon MTIA con un acelerador NNPI y una unidad de procesamiento gráfico. Los resultados muestran que MTIA depende de la gestión eficiente de formas pequeñas y tamaños de lotes para modelos de baja complejidad. MTIA optimiza activamente su pila SW para lograr niveles similares de rendimiento. Mientras tanto, utiliza formas más grandes que son significativamente más optimizadas en la pila SW de GPU para ejecutar modelos de complejidad media y alta.
Para optimizar el rendimiento de las cargas de trabajo de Meta, el equipo se concentra ahora en encontrar un punto intermedio entre la potencia de cómputo, la capacidad de memoria y el ancho de banda de interconexión para desarrollar una solución mejor y más eficiente.
Echa un vistazo al Proyecto. No te olvides de unirte a nuestro subreddit de 21k ML, Canal de Discord y Boletín de noticias por correo electrónico, donde compartimos las últimas noticias de investigación de IA, proyectos de IA geniales y más. Si tienes alguna pregunta sobre el artículo anterior o si nos hemos perdido algo, no dudes en enviarnos un correo electrónico a [email protected].
🚀 Echa un vistazo a 100 herramientas de IA en AI Tools Club.
Conozca a Bright Data: la plataforma de datos web número 1 del mundo
Existen diversas plataformas que proporcionan datos web para que las empresas puedan tomar decisiones más informadas. Sin embargo, la plataforma Bright Data (anteriormente conocida como Luminati Networks) es una de las soluciones líderes en el mercado de datos web y se diferencia por ser ética y legal.
¿Qué es Bright Data?
Bright Data es una plataforma basada en la nube que proporciona datos web para empresas y organizaciones de todo el mundo. Con más de 72 millones de direcciones IP en su red, Bright Data permite a las empresas acceder a datos web más fácilmente y de manera ética.
¿Qué hace que Bright Data sea diferente?
A diferencia de otras soluciones de datos web, Bright Data se asegura de que el acceso a los datos se realice de manera ética y legal. Esto significa que los datos se obtienen de manera transparente y los usuarios finales respetan las leyes y las regulaciones al utilizarlos.
Bright Data utiliza diversas técnicas para garantizar la calidad y la integridad de los datos que se proporcionan a sus clientes. Algunos de estos métodos incluyen evitar la detección, la implementación de medidas antifraude y la asignación de IP exclusivas para cada usuario.
¿Cómo puede ayudar Bright Data a su empresa?
Bright Data puede proporcionar a las empresas acceso a datos web en tiempo real y a gran escala, lo que puede ayudarles a tomar decisiones más informadas en una variedad de ámbitos, desde la investigación de mercado hasta la información competitiva.
Además, Bright Data también permite a las empresas realizar pruebas y verificar información con mayor precisión, lo que puede ahorrar tiempo y dinero a largo plazo.
En resumen, Bright Data es una plataforma sólida y ética para el acceso a datos web que puede ayudar a las empresas a tomar decisiones más informadas de manera ética y legal.
