Cómo un laboratorio de investigación que alguna vez fue pequeño ayudó a Nvidia a convertirse en una empresa de $ 4 billones de dólares

Cuando Bill Dally se unió al Laboratorio de Investigación de Nvidia en 2009, solo empleó a una docena de personas y se centró en el trazado de rayos, una técnica de representación utilizada en gráficos por computadora.

Ese laboratorio de investigación que una vez era pequeño ahora emplea a más de 400 personas, que han ayudado a transformar a Nvidia de una startup de GPU de videojuegos en los años noventa a una compañía de $ 4 billones de dólares que alimentan el auge de inteligencia artificial.

Ahora, el laboratorio de investigación de la compañía tiene la vista puesta en desarrollar la tecnología necesaria para la robótica y la IA. Y parte de ese trabajo de laboratorio ya está apareciendo en productos. La compañía presentó el lunes un Nuevos modelos de AI de Set Worldbibliotecas y otras infraestructuras para desarrolladores de robótica.

Dally, ahora el científico jefe de Nvidia, comenzó a consultar para Nvidia en 2003 mientras trabajaba en Stanford. Cuando estaba listo para dejar de ser el presidente del departamento del departamento de informática de Stanford unos años más tarde, planeaba tomar un año sabático. Nvidia tenía una idea diferente.

David Kirk, quien dirigía el laboratorio de investigación en ese momento, y el CEO de Nvidia, Jensen Huang, pensó que una posición más permanente en el laboratorio de investigación era una mejor idea. Dally le dijo a TechCrunch que la pareja puso una “prensa de cancha completa” sobre por qué debería unirse al laboratorio de investigación de Nvidia y finalmente lo convenció.

“Terminó siendo un poco perfecto para mis intereses y mis talentos”, dijo Dally. “Creo que todos siempre buscan el lugar en la vida donde pueden hacer la contribución más grande, ya sabes, al mundo. Y creo que para mí es definitivamente Nvidia”.

Cuando Dally se hizo cargo del laboratorio en 2009, la expansión fue ante todo. Los investigadores comenzaron a trabajar en áreas fuera del rastreo de rayos de inmediato, incluido el diseño de circuitos y VLSI, o una integración a gran escala, un proceso que combina millones de transistores en un solo chip.

El laboratorio de investigación no ha dejado de expandirse desde entonces.

“Tratamos de descubrir qué marcará la diferencia más positiva para la compañía porque constantemente estamos viendo nuevas áreas emocionantes, pero algunas de ellas, ya saben, hacen un gran trabajo, pero tenemos problemas para decir si [we’ll be] Excentamente exitoso en esto ”, dijo Dally.

Durante un tiempo, eso estaba construyendo mejores GPU para la inteligencia artificial. Nvidia llegó temprano al futuro Boom de la IA y comenzó a jugar con la idea de las GPU AI en 2010, más de una década antes del actual frenesí de IA.

“Dijimos que esto es increíble, esto cambiará completamente el mundo”, dijo Dally. “Tenemos que comenzar a duplicar esto y Jensen creía que cuando le dije eso. Comenzamos a especializar nuestras GPU para ello y desarrollar mucho software para apoyarlo, comprometerse con los investigadores de todo el mundo que lo estaban haciendo, mucho antes de que fuera claramente relevante”.

Enfoque físico de IA

Ahora, como Nvidia posee una ventaja dominante en el mercado de GPU AI, la compañía de tecnología ha comenzado a buscar nuevas áreas de demanda más allá de los centros de datos de IA. Esa búsqueda ha llevado a Nvidia a la IA física y a la robótica.

“Creo que eventualmente los robots serán un gran jugador en el mundo y queremos básicamente hacer el cerebro de todos los robots”, dijo Dally. “Para hacerlo, debemos comenzar, ya sabes, desarrollar las tecnologías clave”.

Ahí es donde entra Sanja Fidler, vicepresidenta de AI Research en Nvidia. Fidler se unió al Laboratorio de Investigación de Nvidia en 2018. En ese momento, ya estaba trabajando en modelos de simulación para robots con un equipo de estudiantes en el MIT. Cuando le contó a Huang sobre lo que estaban trabajando en la recepción de un investigador, estaba interesado.

“No pude resistirme a unirme”, dijo Fidler a TechCrunch en una entrevista. “Es así, ya sabes, es un tema tan excelente y al mismo tiempo también era una gran cultura.

Se unió a Nvidia y se puso a trabajar creando un laboratorio de investigación en Toronto llamado Omniverse, una plataforma Nvidia, que se centró en la construcción de simulaciones para la IA física.

El primer desafío para construir estos mundos simulados fue encontrar los datos 3D necesarios, dijo Fidler. Esto incluyó encontrar el volumen adecuado de imágenes potenciales para usar y construir la tecnología necesaria para convertir estas imágenes en interpretaciones 3D que los simuladores podrían usar.

“Invertimos en esta tecnología llamada representación diferenciable, lo que esencialmente hace que la representación sea enmendable a la IA, ¿verdad?” Dijo Fidler. “Anda tu [from] Renderizar medios de 3D a imagen o video, ¿verdad? Y queremos que vaya al otro lado “.

Modelos mundiales

Omniverse lanzó la primera versión de su modelo que convierte las imágenes en modelos 3D, Ganverse3den 2021. Luego funcionó para resolver el mismo proceso para el video. Fidler dijo que usaron videos de robots y autos autónomos para crear estos modelos 3D y simulaciones a través de su Motor de reconstrucción neural neuricaque la compañía anunció por primera vez en 2022.

Agregó que estas tecnologías fueron la columna vertebral de la compañía Familia Cosmos de Modelos AI World AI que fueron anunciados en el CES en enero.

Ahora, el laboratorio se centra en hacer estos modelos más rápido. Cuando juegas un videojuego o simulación, quieres que la tecnología pueda responder en tiempo real, dijo Fidler, para los robots que están trabajando para hacer que el tiempo de reacción sea aún más rápido.

“El robot no necesita ver el mundo al mismo tiempo, de la misma manera que el mundo funciona”, dijo Fidler. “Puede verlo como 100 veces más rápido. Entonces, si podemos hacer que este modelo sea significativamente más rápido de lo que son hoy, serán tremendamente útiles para aplicaciones de IA robótica o física”.

La compañía continúa avanzando en este objetivo. Nvidia anunció una flota de Modelos AI de New World AI Diseñado para crear datos sintéticos que se pueden usar para entrenar robots en la Conferencia de Gráficos de Computadora Siggraph el lunes. Nvidia también anunció nuevas bibliotecas y software de infraestructura dirigido a desarrolladores de robótica también.

A pesar del progreso, y la exageración actual sobre los robots, especialmente los humanoides, el equipo de investigación de Nvidia sigue siendo realista.

Tanto Dally como Fidler dijeron que la industria todavía tiene al menos unos años de tener un humanoide en su hogar, y Fidler lo comparó con la exageración y la línea de tiempo con respecto a los vehículos autónomos.

“Estamos haciendo un gran progreso y creo que sabes que AI realmente ha sido el facilitador aquí”, dijo Dally. “Comenzando con la IA visual para la percepción del robot, y luego sabes la IA generativa, eso es muy valioso para la planificación y manipulación de tareas y movimiento. A medida que resolvemos cada uno de estos pequeños problemas individuales y a medida que crecen la cantidad de datos que tenemos para entrenar nuestras redes, estos robots crecerán”.