La IA está cambiando los gráficos de PC. Microsoft quiere que DirectX esté listo

Los juegos se renderizan cada vez más utilizando IA, por lo que Microsoft está incorporando la IA a la forma en que los futuros chips gráficos renderizarán los juegos.

Microsoft introdujo DirectX Linear Algebra y DirectX Compute Graph Compiler en su interfaz de programación DirectX el jueves, y se esperan avances de cada tecnología a finales de este año.

Como mínimo, la declaración de posición de Microsoft con respecto a ambas tecnologías ayuda a explicar dónde encajará cada una.

“[Machine learning] Ya no es una optimización de nicho o un truco de posprocesamiento”, escribió la gerente de gráficos de Microsoft, Adele Parsons, en una publicación de blog. “Está cada vez más integrado en todo el proceso de gráficos, influyendo en cómo se generan los fotogramas, cómo se crea el contenido y cómo los desarrolladores de juegos realizan su visión artística. DirectX está evolucionando para respaldar este futuro, donde el aprendizaje automático es un ciudadano de primera clase junto con las cargas de trabajo de renderizado tradicionales”.

La mayoría de los entusiastas comprenden cómo los chips gráficos utilizan la inteligencia artificial o el aprendizaje automático. La mejora le pide a la GPU que represente la escena usando una resolución más baja menos compleja y luego utiliza técnicas de inteligencia artificial para mejorar o aumentar la resolución a la calidad deseada. La generación de cuadros le pide a la GPU que renderice un cuadro específico y luego otro; luego usa IA para interpolar lo que el jugador debería ver en los fotogramas intermedios. Si bien esto puede introducir algo de latencia (retraso), puede llevar la velocidad de fotogramas a niveles mucho más altos, mejorando enormemente la fluidez visual.

Ambas técnicas se combinan para aumentar la salida renderizada real de la GPU, lo que permite GPU integradas o económicas como El nuevo Panther Lake de Intel, para competir con las GPU discretas más antiguas en su forma de jugar.

Max McMullen, gerente de ingeniería de software de Microsoft, invitó a representantes de AMD, Intel y Nvidia a subir al escenario con él en la Game Developer Conference en San Francisco como muestra de su apoyo.

son solo matematicas

Lo que hace DirectX Linear Algebra es simplemente admitir las matemáticas utilizadas por la IA. Las GPU tradicionales utilizaban operaciones de matriz vectorial para calcular formas e iluminación 3D. Procesadores diseñados para IA, como un Nueva generación de GPU para estaciones de trabajoUtilice matemáticas de matriz-matriz. Pero la lógica como los núcleos Tensor de Nvidia, que se han vuelto cada vez más importantes con el tiempo, realiza cálculos matriciales.

Sin embargo, DirectX Linear Algebra no se trata tanto de dar a los desarrolladores de juegos control sobre la IA. Lo que Microsoft descubrió, según su publicación de blog, es que ciertas características, como el escalado de tiempo, dependen de las matemáticas matriciales y que funcionan muy bien cuando se aplican a sombreadores. Los sombreadores son como instrucciones de renderizado para tu GPU y normalmente se descargan antes de empezar a jugar. que Microsoft odia.

El compilador DirectX Compute Graph, sin embargo, podría tener mucho más potencial. Las herramientas más antiguas, como el FSR de primera generación de AMD, dibujan escenas observando los cambios a nivel de píxel, describiendo los cambios de un fotograma al siguiente. Pero las versiones modernas de FidelityFX Super Resolución (así como Nvidia DLSS) han pasado a la integración total del modelo, donde se examina toda la escena o modelo. En lugar de indicar a los píxeles que se “muevan”, la IA esencialmente calcula dónde se encuentran los píxeles. el debe ser y asignarlos adecuadamente.

Dicho de otra manera, es posible que la interpolación por píxel no sepa si una “bola” se ha movido detrás de un “árbol”. La idea es que una interpolación completa del modelo proporcione una representación más precisa de la escena. Lo que Microsoft está intentando hacer es migrar esto al propio canal DirectX.

Entre otras cosas, un juego diseñado en torno a ambas tecnologías DirectX podría esencialmente comunicarse con la GPU y construir sus propios sombreadores, y podría hacerlo en el futuro para GPU que no estaban disponibles en el momento de la publicación del juego, señaló Don Brittain, un reconocido ingeniero de Nvidia.

Algunos jugadores, sin embargo, rechazan la noción de “fotogramas falsos”, donde la IA intenta adivinar correctamente lo que de otro modo renderizaría la GPU. Ambas tecnologías DirectX llevarían este concepto aún más lejos. Los ejecutivos hablaron sobre la “compresión de textura neuronal”, donde la IA esencialmente adivinaría cómo debería verse una textura comprimida cuando no está comprimida; y la “iluminación neuronal”, donde la IA calcularía hacia dónde deberían ir los rayos de luz.

Mark Hachman / Fundición

La desventaja es que funciones más avanzadas estén disponibles para un grupo más amplio de jugadores. La compresión de texturas neuronales puede disminuir la necesidad de memoria y almacenamiento de las texturas de los juegos, hasta en un 30 por ciento, dijo McMullen. La radiación neuronal podría reducir la necesidad de unidades de trazado de rayos dedicadas y hacer que el “trazado de ruta” fotorrealista sea más accesible para más jugadores.

Sin embargo, ninguna tecnología está cerca. El compilador DirectX Compute Graph estará disponible para una vista previa privada este verano, dijo Microsoft. DirectX Linear Algebra entrará en versión preliminar pública en abril. Tomará algún tiempo hasta que formen parte de DirectX propiamente dicho y luego sean adoptados por la industria en general.