Arm apunta a nuevos centros de datos que impulsan las cargas de trabajo de IA de las agencias con su primer producto de silicio; Mohamed Awad dice que esto requiere una nueva clase de CPU “optimizadas sin piedad” que sean “súper eficientes pero de alto rendimiento” y puedan “escalar significativamente”.
El ejecutivo detrás del impulso de Arm para vender su primer producto de silicio a centros de datos dijo que ve una gran oportunidad para impulsar la nueva CPU AGI para implementaciones locales con miles de clientes que adoptan Arm en la nube.
Pero Mohamed Awad, vicepresidente de la unidad de negocios de IA en la nube de Arm, dijo en una entrevista con CRN que el diseñador de chips británico aún no ve un gran juego para los proveedores de soluciones, a pesar de los acuerdos alcanzados con los principales fabricantes de equipos originales como Lenovo y Supermicro.
[Related: Nvidia’s Craig Weinstein: Groq AI Racks Will Become A Channel Play ‘Over Time’]
“Definitivamente creo que esta es un área de oportunidad si el tiempo lo permite. En el corto plazo, nos centraremos en éxitos realmente grandes”, dijo a finales de marzo, refiriéndose a clientes grandes y llamativos como Meta, al que nombró socio principal y codesarrollador de la CPU AGI.
“Estamos más interesados en relaciones de socios profundas y significativas que en una estrategia amplia para hacer hervir los océanos”, añadió Awad.
Esta estrategia tiene sentido desde la perspectiva de Arm, así como desde la perspectiva de los proveedores de soluciones, según Alexey Stolyar, director de tecnología de International Computing Concepts, un integrador de sistemas con sede en Northbrook, Illinois, que se asocia con Intel, AMD y Nvidia.
Si bien Stolyar dice que le gusta ofrecer soluciones de vanguardia, los recursos limitados de su empresa significan que su equipo tiene que priorizar los productos que los clientes desean, especialmente teniendo en cuenta el trabajo adicional que las soluciones basadas en Arm pueden requerir por adelantado.
“Si no sé cómo vender y los clientes no lo quieren, nunca lo venderé, ¿verdad? Entonces, si hay interés de los clientes, buscaremos cómo obtener los recursos porque hay oportunidades”, dijo el ejecutivo de integración de sistemas, cuya empresa ocupa el puesto número 1 en High Growth 150 de CRN. el año pasado.
Arm quiere aprovechar la oportunidad de la IA del agente
Anunciada el mes pasado, la CPU AGI representa un cambio significativo en el modelo de negocio de 36 años de la compañía. Básicamente, esto consistió en otorgar licencias de diseños de chips y arquitecturas de conjuntos de instrucciones a Arm a una amplia variedad de empresas que desarrollaron sus propios procesadores, como Amazon Web Services, que tiene CPU Graviton basadas en Arm.
Con su primer producto de silicio, Arm apunta a nuevos centros de datos que impulsan las cargas de trabajo de IA de las agencias; Awad dijo que esto requiere una nueva clase de CPU “optimizadas sin piedad” que sean “súper eficientes pero de alto rendimiento” y puedan “escalar significativamente”.
“Lo que verá aquí es que la mayoría de las ofertas actuales le brindarán uno o dos de estos, pero no los tres. Y lo que hace la CPU Arm AGI es reunir los tres”, dijo.
La CPU AGI incluye hasta 136 núcleos basados en la arquitectura Neoverse V3 de Arm, con lo que dice es un rendimiento líder medido por núcleo, sistema en chip, blade y rack. Estos núcleos están empaquetados en una envoltura térmica de 300 vatios. Arm dijo que esto le permite escalar a más de 45.000 núcleos en un bastidor refrigerado por líquido o más de 8.000 núcleos en un bastidor refrigerado por aire.
La compañía afirmó que la CPU podría ofrecer más del doble de rendimiento en rack que los procesadores x86, lo que generaría ahorros en gastos de capital que podrían alcanzar hasta 10 mil millones de dólares por gigavatio de capacidad del centro de datos de IA.
“Queríamos escalarlo a una gran cantidad de núcleos/hilos potenciales, pero sin sacrificar el rendimiento. Queríamos una eficiencia increíble, por lo que pusimos todo en un paquete de 300 vatios. Eso es muy diferente de lo que sugeriría que tienden a hacer las CPU más antiguas”, dijo Awad, refiriéndose a las CPU x86 que actualmente alcanzan los 500 vatios.
¿Por qué Arm necesita una nueva clase de CPU?
Arm ve una gran oportunidad para la CPU AGI debido a la expectativa de que las cargas de trabajo de IA de la agencia requerirán que los centros de datos tengan cuatro veces más capacidad de CPU por gigavatio.
Mientras que la IA generativa enruta las consultas a través de las CPU y luego las GPU para generar una respuesta que se transmite a través de las CPU, la IA agente hace que los movimientos sean “mucho más complejos” a través de un centro de datos, según Awad.
“Lo que sucede es que el usuario está fuera del circuito, lo que significa que como usuario podría exponer una tarea mucho más compleja que fluye hacia arriba a través de las CPU, pero ahora hay una clase completamente nueva de CPU, y esa nueva clase de CPU ahora se genera a partir de múltiples y diferentes subprocesos hasta múltiples y diferentes GPU”, dijo.
Awad agregó que estas CPU luego reciben los tokens, “administran las respuestas de esos tokens” y “deciden qué patrones llamar para obtener la respuesta del siguiente nivel”. “O se vuelve recursivo en el sentido de que se llama a sí mismo nuevamente para realizar otro conjunto de tareas, etc.”
Esta actividad, dijo, ejercería “una enorme presión sobre las bases de datos, el almacenamiento, las redes y el resto del sistema, todo lo cual es administrado por CPU”.
Es esta línea de pensamiento la que lleva a Arm a creer que los centros de datos de IA deberían cuadruplicar la capacidad de la CPU, pero Awad dijo que considera que es una “estimación conservadora”.
“Ahí es donde se vuelve muy interesante, si se puede obtener el doble de rendimiento en el mismo espacio de potencia”, dijo.
Arm atrae el interés de SAP y F5 en su búsqueda de proveedores de dispositivos y SaaS
Meta fue citado como el cliente más grande e influyente de la CPU AGI en el lanzamiento, mientras que Arm anunció que había ganado “impulso comercial” con varias otras empresas, incluido el fabricante de ChatGPT OpenAI, así como diseñadores de chips de IA como Cerebras y Rebellions.
Empresas como estas representan a clientes que están desarrollando sus propios chips aceleradores de IA y necesitan emparejarlos con una CPU para el nodo anfitrión, dijo Awad.
Otro grupo de clientes que Arm busca adoptar AGI CPU son las empresas de software como servicio. Awad citó al proveedor alemán de ERP SAP como una empresa en esta categoría que es un “cliente importante” de las instancias de CPU Graviton de AWS, pero que en algunos casos requiere “el mismo nivel de eficiencia y rendimiento para una configuración híbrida local”.
“No existe ninguna oferta basada en Arm que les brinde eso, por lo que la CPU AGI les resuelve ese problema”, dijo el ejecutivo.
El tercer grupo de clientes al que se dirige Arm, que Awad llama proveedores de dispositivos, incluye OEM de redes y otros tipos de proveedores de hardware que “siempre usan Arm en el extremo inferior de su mapa de SKU” y pueden aprovechar la CPU AGI. El ejecutivo citó a F5 de entrega de aplicaciones y seguridad como parte de este grupo.
“También lo utilizarán para este propósito. Esto les permitirá consolidar sus bases de código de software y lograr un rendimiento eficiente”, afirmó.
Arm busca conseguir que más de 10.000 personas adopten Arm en la nube
En un nivel más amplio, Awad dijo que Arm ve una oportunidad de obtener el apoyo de 10.000 empresas “que utilizan Arm en la nube todos los días para trabajos de producción reales” con las CPU Graviton de AWS, los procesadores Axion de Google Cloud u otras ofertas de hiperescalador.
Estas oportunidades representarán nuevas implementaciones de centros de datos locales.
“Creo que todos los que ejecutan un entorno híbrido quieren el mismo nivel de rendimiento. [operational expenditure] ahorro. Quieren el mismo nivel de ventaja de rendimiento por vatio. “Quieren la misma eficiencia, pero localmente quieren que complemente su uso basado en la nube, y la CPU AGI se lo proporciona”, dijo.
Según el ejecutivo, esto significa que Arm ve a las empresas, las medianas empresas e incluso las pymes como “objetivos potenciales”. Pero advirtió que la compañía “ciertamente no está persiguiendo todos y cada uno de estos hoy”.
Para reproducir canales, Arm analizará lo que quieren los clientes
En lo que respecta a la oportunidad de canal para la CPU AGI de Arm, Awad dijo que las relaciones de la compañía con los proveedores de soluciones son actualmente limitadas.
Si bien Awad reconoce el canal como una oportunidad a largo plazo, dijo que el enfoque de la compañía en “asociaciones profundas y significativas” con proveedores de soluciones en lugar de un esfuerzo más amplio es parte de una estrategia de comercialización que calificó de “optimizada implacablemente”.
“Continuaremos expandiendo esto con el tiempo”, dijo.
Según Awad, esto significa que Arm primero determinará qué se necesita para el soporte del canal observando las preferencias de los clientes.
“En realidad, nos centramos más en quiénes son los clientes finales con los que queremos relacionarnos, luego los involucramos y luego nos concentramos en descubrir quiénes son los socios adecuados para apoyarlos, en lugar de al revés”, dijo.
El desafío de Arm en los juegos de canal amplio
Incluso entonces, el ejecutivo dijo que le preocupaba cómo una expansión importante en el canal podría diluir el producto principal de Arm porque la CPU AGI fue diseñada para ser “ampliamente aplicable en el centro de datos de IA” y no como una CPU de uso general.
Si bien Arm se centró en el rendimiento, la eficiencia y la escala para las cargas de trabajo de IA de los agentes con la CPU AGI, evitó ciertos elementos que se encuentran en los procesadores x86 tradicionales, como la compatibilidad con subprocesos múltiples o software heredado, y Awad bromeó diciendo que no ejecutaría Lotus Notes.
Esto podría dificultar que Arm venda el producto a través de un amplio grupo de socios de canal cuyos clientes están acostumbrados a un conjunto más amplio de funciones para las necesidades de TI tradicionales, según el ejecutivo.
“Pequeño [or] “Y eso no viene sin gastos generales: gastos generales en términos de energía, gastos generales en términos de costo, gastos generales en términos de área de silicio y, francamente, los grandes no quieren pagar por todo eso”.
