Nuestra investigación indica que la adopción de la inteligencia artificial generativa se está produciendo en una variedad de frameworks con diversos modelos de implementación, conjuntos de datos y especificidades de dominio.
El poder transformador de la IA generativa para las industrias es colosal, y estamos convencidos de que la IA se dirigirá donde reside la información. La ley de potencia de la IA generativa, desarrollada por el equipo de investigación de theCUBE, describe los patrones de adopción que estamos observando surgir en la nube, en local y en la periferia, con una larga cola de modelos de dominio altamente específicos en todas las industrias.
En este Análisis Revelador, volvemos a examinar la ley de potencia de la IA generativa, que nos informa acerca de cómo vemos que se produce la adopción en las industrias y organizaciones a nivel global. Presentamos nuevos datos de encuestas de Enterprise Technology Research que examinan algunos de los proveedores que están siendo adoptados o considerados, con un vistazo especial al sector de tecnología emergente con datos sobre Hugging Face, Anthropic, Cohere y Jasper.
También hacemos comentarios sobre la adopción de Llama 2 de Meta Platforms y el impacto potencial del código abierto y otros terceros en la forma de la curva. Compartimos nuestras estimaciones del impacto en los ingresos de IA de Microsoft Azure, que prevemos que alcanzarán una tasa anual de 2 mil millones de dólares al salir de 2023. Por último, profundizamos en el impacto de la generación mejorada mediante recuperación, o RAG, utilizando ejemplos del mundo real con algunas advertencias sobre las implementaciones de RAG que los profesionales deben tener en cuenta.
Leyes de potencia y la regla 80/20
Una ley de potencia, también llamada ley de escala, es una relación del tipo Y = aX elevado a la potencia de βeta, donde Y y X son variables de interés, βeta es un exponente, el exponente de la ley de potencia, y es una constante que no es relevante para nuestra discusión hoy. La dinámica funciona de la siguiente manera: si X se multiplica por un factor de 10, entonces Y se multiplica por 10 elevado a la potencia de βeta, se dice que Y "escala" como X a la potencia de βeta.
En matemáticas, un ejemplo de ley de potencia con el que muchos estarán familiarizados es una distribución de Pareto, también conocida como la regla del 80/20. Ahora bien, en términos matemáticos precisos, la regla establece que el 80% de los resultados son resultado del 20% de las causas. Para nuestros propósitos en este Análisis Revelador, no nos interesa tanto la relación causa-efecto, sino más bien utilizar la forma de una curva para describir los patrones de adopción que vemos evolucionar en la IA generativa y lo que podría significar para las organizaciones, las industrias, las alternativas de adopción y la aplicación de datos.
La ley de potencia de la IA generativa y los efectos de cola larga
La Ley de Potencia de la IA Gen mostrada a continuación fue desarrollada en colaboración con nuestro equipo de analistas, incluidos el autor, John Furrier y Rob Strechay. Describe cómo vemos que la forma de la curva de adopción evoluciona y la cola larga de la adopción de IA generativa.
En el diagrama anterior, el eje Y representa el tamaño de los grandes modelos de lenguaje y el eje X muestra la especificidad de dominio de los LLM. La línea naranja muestra un ejemplo de la industria musical histórica, donde solo alrededor de cuatro sellos discográficos dominaban la escena. Por lo tanto, la forma de la curva era un ángulo recto pronunciado.
En Gen AI podemos observar un patrón similar pero algo diferente:
- Los titanes de la nube, junto con Nvidia, OpenAI y algunas otras empresas, serán pocos en número, similares a la línea naranja;
- Entrenarán LLM gigantes, pero la mayoría de los modelos aplicados serán mucho más pequeños, creando una larga cola;
- Esa larga cola se producirá no solo en la nube, donde gran parte de la acción relacionada con Gen AI está ocurriendo hoy en día, sino que también será muy específica del ámbito dentro de la industria y dará lugar a implementaciones en las instalaciones que se extienden hasta el extremo lejano;
- Creemos que la inferencia de IA en el extremo será el caso de uso más dominante desde una perspectiva de volumen. Y la inferencia se producirá utilizando conjuntos de datos más pequeños tanto en la nube como en las instalaciones;
- Las líneas rojas que tiran del torso hacia arriba a la derecha son el resultado de una serie de modelos de terceros y de código abierto que están surgiendo y que tendrán y están teniendo un impacto en el mercado.
Los mercados de consumo impulsan la adopción y la innovación y generan perturbaciones
Los otros puntos se muestran en el recuadro gris en la parte superior derecha. Creemos que, como en muchas olas, la adopción por parte del consumidor, en este caso de ChatGPT, cataliza la innovación que se extiende hasta la empresa. Nuestra investigación muestra que las empresas están pasando actualmente por un ciclo de experimentación para la producción con casos de uso muy específicos. La mayoría todavía se encuentra en la fase de evaluación, posiblemente hasta un 90%, pero aquellos que están en producción y tienen éxito están mostrando un ROI muy rápido y compartiendo las ganancias para invertir más. Esto es importante porque hoy en día, la mayor parte de Gen AI está siendo financiado mediante el "robo" de otros presupuestos de TI empresariales en el ámbito de robo de ingresos de IA.
Volviendo a la conversación sobre la economía de volumen: creemos que este patrón de adopción por parte del consumidor resultará en cambios drásticos en la economía de ejecutar cargas de trabajo, lo que eventualmente perturbará las normas económicas tradicionales de los centros de datos e incluso posiblemente de la nube.
Atentos a las batallas de silicio
Nos interesa especialmente la guerra de silicio que está teniendo lugar. Para nosotros, el modelo de Arm es el más convincente debido a su madurez, tiempo de llegada al mercado, ventaja de potencia por vatio, pero lo más importante es el volumen de obleas Arm en comparación con cualquier otro estándar. El volumen de obleas de Arm es probablemente 10 veces mayor que el de x86 y las curvas de rendimiento que surgen del ecosistema de Arm avanzan a una velocidad de 2.5 a 3 veces la de las progresiones históricas de la Ley de Moore.
No es una coincidencia que Apple haya comenzado todo esto con los volúmenes de iPhone y sea el mayor impulsor de volumen de TSMC. También es el principal habilitador del liderazgo de TSMC en fundición. Pero no solo se trata del iPhone. Las computadoras portátiles de Apple, Nitro de Amazon Web Services, Graviton, Inferentia y Tranium, Google y Microsoft, Tesla, Oracle con Ampere y muchos otros están impulsando esta innovación. Ah, sí, no olvidemos a Nvidia. Y las implicaciones en costos relacionados son monumentales en nuestra opinión.
Arm es la arquitectura de bajo costo y creemos que seguirá siéndolo debido a la economía de volumen, la madurez de las herramientas y la Ley de Wright.
Somos conscientes de que toda la industria está tratando de encontrar alternativas a Arm en forma de estándares de código abierto RISC-V y alternativas a Nvidia en las GPUs. Pero las curvas de experiencia alrededor de Arm y Nvidia están años por delante del resto en nuestra opinión. La implicación es que creemos que tanto Arm como Nvidia mantendrán el liderazgo en volumen en sus respectivos mercados durante la década.
La razón por la que pasamos tanto tiempo pensando en esto es porque vemos la larga cola de Gen AI y los enormes volúmenes de sistemas integrados dando lugar a nuevos modelos de consumo de datos que alterarán radicalmente la economía de la tecnología de la información empresarial, de manera similar a cómo x86 ganó el juego contra RISC en el pasado.
¿Cuáles LLM adoptan o evalúan los clientes?
El potencial de las implementaciones de "IA híbrida"
Veamos cómo los tomadores de decisiones de TI piensan en qué proveedores están adoptando hoy en día para la IA generativa y cómo están pensando en asociaciones futuras.
Los datos anteriores son de un análisis detallado reciente de ETR. La encuesta pregunta a los clientes qué productos se utilizan actualmente para la IA generativa y cuáles se planean evaluar. Esto es parte de una encuesta en la nube, por lo que está sesgada hacia los proveedores de la nube, pero ahí es donde se encuentra la acción en su mayoría. Y se puede observar la dominancia de OpenAI y Microsoft. Recuerda que Microsoft mencionó que la IA generativa proporcionó un impulso de 300 puntos básicos para Azure en el último trimestre y que son la única empresa que ha obtenido ingresos significativos de la IA generativa (aparte de Nvidia, por supuesto).
Microsoft indicó que Azure experimentó un impulso de 300 puntos básicos gracias a la IA en este trimestre, lo que equivale a unos $325 millones. Vemos que esta cifra se acercará a los $500 millones en el trimestre de diciembre, lo que implica una tasa de ejecución de casi $2 mil millones para Azure AI.
En el gráfico se puede ver que Google's Vertex AI y Amazon tienen posiciones sólidas. A finales del mes pasado, AWS anunció que Bedrock estaba disponible en general, por lo que es probable que veamos un rápido incremento allí, como informamos la semana pasada. También nos enfocamos en watsonx. En nuestra opinión, IBM finalmente lo entendió y los datos están confirmándolo con un aumento interesante en el interés de adopción de IBM Watson. Oracle también es otro elemento destacado en este gráfico como jugadores "otros".
El nuevo elemento destacado en estos datos es el impacto de la IA híbrida. La idea de llevar la IA a los datos. Creemos que esto ocurre en la nube, en local y en el límite de la red. Porque ahí es donde residen los datos.
Algunos jugadores menos conocidos se suman a OpenAI en la carrera de LLM
Los datos de la Encuesta de Tecnología Emergente de ETR nos informan sobre cómo las empresas están invirtiendo o evaluando tecnologías emergentes. Como seguramente sabrá, hay muchos otros jugadores como mostramos en el gráfico de ley de potencias. Así que echemos un vistazo a algunos de esos nombres menos conocidos que vale la pena mencionar.
Arriba mostramos un gráfico de la Encuesta de Tecnología Emergente de ETR. Es una adición relativamente nueva a la mezcla que el nuevo CEO de ETR decidió acelerar para realizar múltiples veces al año. La encuesta de ETS mide la opión neto en el eje vertical y la participación mental en el horizontal. Las respuestas N son más de 1,000. Esta encuesta se centra solo en empresas de capital privado. Tenga en cuenta que de vez en cuando ETR capturará herramientas de código abierto como TensorFlow mostrado arriba.
La medida del eje vertical representa la intención de participación y el horizontal representa la conciencia. Y esto es una combinación de herramientas de aprendizaje automático y IA, por lo que no solo es IA general: hay otras IA que conoces. Estaríamos encantados de explicar la metodología con más detalle, así que contáctanos si quieres más información al respecto.
Lo que queremos enfatizar realmente aquí es:
- OpenAI ha aparecido en escena y ha dominado;
- El mercado tiene muchos jugadores más allá de OpenAI;
- Las líneas muestran la progresión a lo largo de una serie temporal para los diferentes períodos de encuesta;
- Hugging Face ha hecho un tremendo progreso en ambas dimensiones;
- Cohere, Anthropic y Jasper, un copiloto para los equipos de marketing, también están mostrando grandes promesas.
Puedes ver la combinación de otros jugadores de ML/AI, incluido el siempre prominente Databricks, que tiene un fuerte legado en ciencia de datos y aprendizaje automático.
El Llama 2 de Meta es un potencial cambio de juego
La única fuerza importante que aún no se ha mostrado en el conjunto de datos de ETR es el Llama2 de Meta.
Meta introdujo a Llama a principios de este año y en julio anunció Llama 2 en versiones de 7 mil millones, 13 mil millones y 70 mil millones de parámetros. Es un LLM de código abierto que Meta está implementando internamente y está ganando tracción como una alternativa a OpenAI. Para ponerlo en contexto, se dice que el PaLM de Google se basa en 500 mil millones de parámetros y se informa que ChatGPT está en 1 billón o más. Por lo tanto, Meta está mostrando con Llama 2 el enorme potencial de modelos de lenguaje más pequeños.
Lo otro realmente importante de lo que no hemos hablado es que una de las barreras más significativas para la adopción de IA general hoy en día son las preocupaciones sobre privacidad, exposición legal y cumplimiento. Y así, volviendo a la Ley de Potencia de IA general, muchas empresas quieren implementar IA general en el lugar (on-prem), donde gran parte de sus datos sensibles aún permanecen. Piensa en servicios financieros, atención médica, industrias reguladas... y, por supuesto, en el borde (edge).
La cola larga podría ser irregular
No hay datos concretos al respecto, pero nuestras conversaciones con diversas fuentes de la industria indican que más del 50% de las implementaciones de Llama 2 posiblemente están en el lugar (on-prem). Al menos, la mayoría de las descargas provienen de empresas que tienen importantes implementaciones en centros de datos. Por lo tanto, esto encaja perfectamente en nuestra forma de pensar sobre la cola larga y la aplicación de modelos más pequeños.
Es muy posible que más del 50% de las implementaciones de Llama 2 estén en las instalaciones en centros de datos y en el borde.
Ahora bien, esto no significa que no verás modelos más pequeños y específicos de dominio implementados en la nube, los verás. Absolutamente. La cuestión es que dependerá de la ubicación de los datos. La otra advertencia es que la cola larga tendrá "jorobas de camello" a lo largo de la curva (ver a continuación), donde habrá organizaciones, especialmente en aplicaciones de computación de alto rendimiento y supercomputación, que utilizan conjuntos de datos muy grandes, así que tenlo en cuenta al pensar en la forma de la curva.
La Generación Mejorada por Recuperación (RAG) brinda soporte a la especificidad de dominios de larga cola
Existe un importante movimiento en la industria en torno a la generación mejorada por recuperación. RAG simplifica y mejora de manera drástica la implementación de la IA generativa. El problema con los LLM es que son inconsistentes y a veces poco confiables: alucinan mucho y a menudo no son fiables ni coherentes. Esto se debe en gran parte a su amplio alcance de conocimiento y entradas de datos, así como a su capacidad para ser creativos. Por lo tanto, las organizaciones están utilizando RAG para abordar este problema.
¿Qué es RAG?
RAG es un marco de IA que mejora la especificidad de los datos utilizados en los LLM. Los RAG toman las consultas de los usuarios y complementan los LLM con conocimiento específico de dominio utilizando una base de datos vectorial como Pinecone o Milvus. A continuación, se amplía la consulta original del usuario con una base de conocimientos propia, a menudo complementada con otros datos específicos de la industria, y se envía al modelo base, lo que resulta en respuestas de mejor calidad.
Este enfoque es más preciso, reduce las alucinaciones y proporciona un valor específico de dominio que los modelos LLM generales, como ChatGPT, por sí solos no ofrecen. Los RAG brindan un mejor control sobre los datos utilizados por los LLM al formular una respuesta.
Echemos un vistazo a un ejemplo de un RAG con el que estoy familiarizado: theCUBEai.
Nuestra experiencia con theCUBEai es un buen ejemplo de un modelo específico de dominio en la larga cola de la Ley del Poder de la IA generativa. Hemos procesado un corpus de aproximadamente 35 000 videos de theCUBE y otros datos que poseemos. Esto permite que nuestra audiencia realice preguntas muy específicas sobre empresas, estrategias y tendencias de la industria. Es una plataforma de participación impulsada por IA que funciona como un analista virtual para resumir el contenido de video, extraer y compartir ideas clave, y proporcionar búsqueda asistida por IA.
En el ejemplo anterior, preguntamos a theCUBE AI: "¿Cuál es la estrategia de IA de Dell?".
La respuesta que recibimos fue muy precisa:
La estrategia de Dell en cuanto a la IA se basa en un marco de cuatro partes: IA dentro, IA en funcionamiento, IA para y IA con.
'En' se centra en incorporar la IA en las ofertas de Dell.
El aspecto 'En funcionamiento' implica construir infraestructura donde los clientes y socios puedan ejecutar sus cargas de trabajo de IA y aprendizaje automático. Proyecto Helix.
La dimensión 'Para' de la IA tiene dos enfoques. En primer lugar, Dell aplica capacidades y herramientas de IA para mejorar sus procesos internos y, en segundo lugar, Dell comparte sus conocimientos y mejores prácticas con los clientes para apoyar su viaje en la IA.
Luego, la IA 'Con' se centra en habilitar asociaciones en el ecosistema.
Y la IA nos proporciona fragmentos relevantes... que, por cierto, fueron generados por theCUBE AI.
El impacto en los empleos
Aquí hay muchas lecciones que aprender. Una de ellas está relacionada con la conversación sobre la IA que reemplaza empleos. Para mostrar un ejemplo de pérdida de empleo, theCUBE AI ha eliminado al menos un puesto. Solíamos tener a una persona que creaba los fragmentos manualmente, pero ahora la IA lo hace con solo presionar un botón. Podemos controlar la duración de los fragmentos, el contexto y la calidad, y más. La persona reemplazada por la IA no está infeliz, ya que esa persona pasaba el día entero como un controlador de tráfico aéreo mirando videos con los ojos cansados.
So, la eliminación de empleos es una espada de doble filo. Al igual que las implementaciones de automatización de procesos robóticos, gran parte de la IA reemplazará tareas mundanas. A largo plazo, podría tener un mayor impacto en el empleo, sin duda, pero dejaremos eso para otro día.
La calidad de los datos determina el valor de RAG
La clave de RAG específicamente y de LLM en general es la calidad de los datos.
Debido a que tenemos datos actuales sobre Dell en nuestro corpus, la respuesta de theCUBE AI es impecable. Pero a continuación hay un ejemplo que no es tan bueno. Preguntamos a theCUBE AI "¿Quién es el CEO de ServiceNow?" y nos devuelve a John Donahoe, un antiguo alumno de CUBE y ex CEO. También menciona a Frank Slootman, el CEO anterior. Aunque hemos hablado bastante sobre Bill McDermott, el nuevo CEO, la IA no pudo conectar los puntos; los datos en el corpus simplemente no eran lo suficientemente actuales. Por lo tanto, se notificó a los ingenieros con un pulgar hacia abajo y un comentario, y ellos entrenarán el sistema para que tenga en cuenta las fechas e incluirán una advertencia en la respuesta de que esto es hasta una cierta fecha. O posiblemente encontrarán una forma de buscar otros datos en el corpus y realmente conectar los puntos. Ya veremos...
Una vez más, la actualidad y calidad de los datos determinarán la relevancia y utilidad de los resultados.
¡POR FAVOR REGÍSTRATE EN THECUBE AI Y AYÚDANOS A MEJORAR SU UTILIDAD PARA LA COMUNIDAD!
Los clientes se centran en mejorar la calidad de los datos para aprovechar al máximo la IA generacional
Así que no te sorprenderá ver estos datos de la encuesta de ETR a continuación que les pregunta a los clientes en qué se centran en términos de prioridades de datos y análisis relacionados con la IA generacional.
Solo echa un vistazo a las categorías anteriores... mejorar la calidad de los datos, mejorar los almacenes de datos y lagos de datos, incorporar más datos, mejorar la alfabetización en datos, integración de datos mejorada, revisar las políticas de gobernanza de datos, mejorar la catalogación de datos, una mejor gestión de metadatos.
Nuevamente, todo se trata de los datos. Muchos datos están en la nube. Hay toneladas de datos locales, probablemente tanto o más que en la nube. Y cada vez hay más datos en el borde. La frase "todo se trata de los datos" significa llevar la IA a los datos, mejorar la calidad de los datos y establecer modelos de gobernanza de datos adecuados.
Los datos serán la clave diferenciadora en la IA para aquellos que actúen.
La IA está en todas partes...
Concluyamos con algunos pensamientos finales y expectativas sobre la adopción de la IA generacional.
AI en todas partes: Está llegando desde arriba, desde abajo, desde el centro. El impulso organizacional subraya cómo se está adoptando la IA. Los altos directivos están impulsando a los departamentos de tecnología y negocios a incorporar la IA en el sistema para mejorar la productividad. Desde las capas descentralizadas y de gestión intermedia de las organizaciones, surge mucha "IA en la sombra" que quiere impulsar la IA en sus unidades de negocio para mejorarla.
Financiación de la IA: La mayoría de las organizaciones aún están en la fase de evaluación, pero aquellas que están en producción están mostrando un retorno de inversión y un "compartir de beneficios" en el que está claro el valor y se está pagando por sí mismo.
Mandato sin financiamiento: El compartir de beneficios es un concepto importante para los profesionales porque los presupuestos de la IA aún representan una dilución para otras iniciativas, es decir, las organizaciones están tomando fondos de otros sectores para pagar la IA.
Presionando a los líderes: La industria está buscando alternativas a Nvidia (AMD, Intel y otros) y opciones de código abierto para Arm. Pero estos dos tienen una ventaja significativa en el mercado (Nvidia en GPU y Arm en incorporación de la IA en el borde).
Es mejor estar a la cabeza: Puede que aún sea temprano, pero la posición táctica importa en esta carrera. Los innovadores tempranos están obteniendo comentarios valiosos, mejorando rápidamente la calidad de los datos, aprendiendo cómo proteger mejor los datos y descubriendo los modelos de monetización.
Admito que eso tiene dos caras. Los pioneros podrían recibir algunos golpes. Pero el impulso es tan fuerte que preferiríamos estar a la cabeza en esta carrera de caballos en lugar de empezar desde el final del grupo recibiendo tierra en nuestras caras.
Mantente en contacto
Gracias a Alex Myerson y Ken Shifman por la producción, los podcasts y los flujos de trabajo en los medios para Breaking Analysis. Agradecimientos especiales a Kristen Martin y Cheryl Knight, quienes nos ayudan a mantener informada a nuestra comunidad y a difundir la palabra, y a Rob Hof, nuestro editor en jefe en SiliconANGLE.
Recuerda que publicamos cada semana en Wikibon y SiliconANGLE. Estos episodios están disponibles en forma de podcasts en cualquier lugar donde los escuches.
Envía un correo electrónico a [email protected], envía un mensaje directo a @dvellante en Twitter y comenta en nuestras publicaciones en LinkedIn.
Además, echa un vistazo a este Tutorial de ETR que creamos, que explica la metodología de gastos con más detalle. Nota: ETR es una empresa independiente de Wikibon y SiliconANGLE. Si deseas citar o republicar alguno de los datos de la empresa, o si deseas consultar acerca de sus servicios, por favor, contacta a ETR en [email protected].
Aquí está el análisis completo en video:
Todas las declaraciones hechas con respecto a empresas o valores son estrictamente creencias, puntos de vista y opiniones mantenidas por SiliconANGLE Media, Enterprise Technology Research, otros invitados en theCUBE y escritores invitados. Tales declaraciones no son recomendaciones por parte de estas personas para comprar, vender o mantener cualquier valor. El contenido presentado no constituye asesoramiento de inversión y no debe ser utilizado como base para ninguna decisión de inversión. Solo usted es responsable de sus decisiones de inversión.
Divulgación: Muchas de las empresas citadas en el Análisis Rompedor son patrocinadoras de theCUBE y/o clientes de Wikibon. Ninguna de estas empresas u otras compañías tienen ningún control editorial sobre o vista previa avanzada de lo que se publica en el Análisis Rompedor.
Imagen: theCUBE Research (anteriormente Wikibon)
Tu voto de apoyo es importante para nosotros y nos ayuda a mantener el contenido GRATUITO.
Un clic abajo apoya nuestra misión de proporcionar contenido gratuito, profundo y relevante.
Únete a nuestra comunidad en YouTube
Únete a la comunidad que incluye a más de 15,000 expertos #CubeAlumni, incluyendo al CEO de Amazon.com, Andy Jassy, al fundador y CEO de Dell Technologies, Michael Dell, al CEO de Intel, Pat Gelsinger, y a muchos más luminarias y expertos.
"theCUBE es un socio importante para la industria. Realmente son parte de nuestros eventos y realmente apreciamos que vengan y sé que las personas también aprecian el contenido que crean" - Andy Jassy
GRACIAS
