Si estás leyendo este sitio, es probable que hayas jugado con un Mejorador de neuroimagen en algún momento. Estos programas, como el popular «waifu2x», utilizan una red neuronal preentrenada para mejorar la imagen sin causar ruido, ruido o ruido excesivos, lo que le brinda una imagen limpia y optimizada.
Si leyó lo anterior, probablemente esperaba que le dijera que NVIDIA solo ejecuta la mejora neuronal en una textura con búfer de bajo detalle. Para ser claros, eso no es lo que sucede; En realidad, ni siquiera está cerca. En cambio, los investigadores de NVIDIA se metieron en problemas presión de la tela Usar la IA como un bisturí para eliminar la discordia de los viejos métodos de compresión de texturas y almacenar solo los datos absolutamente necesarios.
Este nuevo método es realmente el método de compresión de telas. Los investigadores dicen que «explota la redundancia espacial a través de los niveles del mapa y diferentes canales de material». Continúan diciendo que supera incluso a los formatos modernos de compresión de imágenes como AVIF y JPEG XL y sigue siendo adecuado para la descompresión en tiempo real con acceso aleatorio. Tuvieron que crear su propia arquitectura de decodificador y un compresor de GPU altamente optimizado.
Uno de los principales problemas con los escaladores de neuroimagen es que, si bien tienen un alto grado de calidad perceptiva, en otras palabras, su salida «se ve bien», de hecho, a menudo están bastante lejos de la imagen original en términos de detalles objetivos. Esta «distorsión objetiva» fue una de las principales preocupaciones de los autores, y una prioridad fue reducir esta calidad para que la imagen de salida final estuviera muy cerca de la fuente.
Entonces, ¿cómo puede «NTC» lograr mejoras de calidad y/o ahorros de costos tan drásticos? Es esa cosa de la «explotación de la redundancia espacial». En estos días, el material de los videojuegos suele contener al menos tres, si no cuatro, o incluso más archivos de textura. Estos archivos incluirán un mapa difuso, un mapa normal, un mapa de rugosidad, mineralogía y, a menudo, un mapa de desplazamiento. El nuevo enfoque de NVIDIA lo combina todo en un formato de archivo.
Los desarrolladores admiten que este método tiene un pequeño costo de rendimiento, pero no entran en muchos detalles, excepto para decir que es más costoso que la filtración de tela tradicional. Dicen que es lo suficientemente rápido para jugar, al menos con GPU Asistentes de matemáticas de matriz personalizados. También señalaron que probablemente no tendría un gran impacto en el rendimiento del juego, ya que las operaciones neuronales podrían ejecutarse en paralelo en la GPU mientras estaba ocupada con otras cosas.
Hay algunas limitaciones en el formato, por supuesto. La mayor es que requiere escribir los datos de textura con mucho cuidado, porque cualquier problema de alineación (que pasaría desapercibido con el prensado convencional) reducirá rápidamente la calidad del prensado final. Tampoco puede usar el filtrado de texturas tradicional de esta manera, lo que implica un filtrado anisotrópico.
Todavía es pronto para compresión del tejido nervioso, y los autores no han incluido ningún ejemplo de cómo se vería dentro de una escena 3D completa, por lo que lamentablemente no sabemos si este método es realmente adecuado para los juegos. Sin embargo, tiene el potencial de mejorar en gran medida la apariencia de los juegos a medida que los requisitos de memoria de video continúan expandiéndose.
«Fanático del café. Amable aficionado a los zombis. Devoto practicante de la cultura pop. Malvado defensor de los viajes. Organizador típico».