OpenAI Ejecutivo advierte que los modelos de IA son tortuosos y los interruptores de matar a nivel de hardware deben integrarse en la futura infraestructura del centro de datos
- El jefe de hardware de OpenAI advierte los futuros modelos de IA necesitan interruptores de muerte de hardware en tiempo real
- Richard Ho destaca los desafíos de redes, memoria y potencia en la infraestructura de escala
- Pide puntos de referencia, observabilidad y asociaciones entre la industria para abordar la fiabilidad y la confianza
Un ejecutivo senior de Operai advirtió que la futura infraestructura de IA requerirá características de seguridad a nivel de hardware, incluidos los interruptores de muerte.
Richard Ho, jefe de hardware de la compañía, hizo los comentarios durante su apertura en la Cumbre de Infra AI en Santa Clara.
“Tiene que estar integrado en el hardware”, dijo Ho. “Hoy en día, mucho trabajo de seguridad está en el software. Se supone que su hardware es seguro. Se supone que su hardware hará lo correcto. Asume que puede desconectar el hardware. No estoy diciendo que no podamos tirar de ese hardware, pero le digo que estas cosas son desviadas, los modelos realmente son devíos, y así como un tipo de hardware, que quiero asegurarme de eso”. “.”. “.”. “.”. “.”. “.”. “.”. “.
Medidas de seguridad a nivel de silicio
Ho argumentó que el crecimiento de la IA generativa está forzando un replanteamiento de la arquitectura del sistema y describió cómo los agentes futuros serán de larga vida, interactuando en segundo plano incluso cuando un usuario no está activamente comprometido.
Este cambio requiere una infraestructura rica en memoria y baja latencia para administrar sesiones continuas y comunicación en múltiples agentes.
Las redes, dijo Ho, se está convirtiendo en un cuello de botella. “Vamos a tener que tener herramientas en tiempo real en estas, lo que significa que estos agentes se comunican entre sí. Algunos de ellos podrían estar mirando una herramienta, algunos podrían estar haciendo una búsqueda en el sitio web. Otros están pensando y otros necesitan hablar entre ellos”.
Ho describió varios desafíos de hardware que deben abordarse, incluidos los límites en la memoria de alto ancho de banda, la necesidad de una integración de chips 2.5D y 3D, avances en óptica y requisitos de potencia extrema que podrían alcanzar 1 megavatio por bastidor.
Las medidas de seguridad OpenAI presentadas incluyen interruptores de muerte en tiempo real integrados en grupos de IA, telemetría para detectar signos de comportamiento anormal y rutas de ejecución seguras en CPU y aceleradores.
Ho envolvió las cosas diciendo: “No tenemos buenos puntos de referencia para las arquitecturas y el hardware de los agentes, y creo que es importante saber sobre las paredes de latencia y las colas de latencia, cuál es la eficiencia y la potencia y cosas como esa. Necesitamos tener una buena observabilidad como característica de hardware, no solo como una herramienta de librería, sino que se construyen y monitoreamos constantemente nuestro hardware”.
“La creación de redes es algo realmente importante, y a medida que nos dirigimos hacia la óptica, no está claro que la confiabilidad de la red esté allí hoy. Necesitamos llegar allí con suficientes pruebas de estos tallas ópticas y estos otros tallas de comunicación que muestran que realmente tenemos la confiabilidad”.
A través de La siguiente plataforma
