Muse

This 2025 began with a shift in the tech industry: the arrival of Muse, in partnership with Microsoft, and the debut of ACE with Nvidia and Xbox; two generative AIs capable of building interactive virtual environments in video games. With this announcement, artificial intelligence moved beyond simple image and video generation—which had already shown signs of creative exhaustion—to fully dive into the creation of complete worlds, with their own rules and landscapes in constant transformation. And here comes the inevitable question: ¿Cómo suenan estos nuevos mundos virtuales generativos? Desde la industria tecnológica nos están entrenando no solo para habitar entornos virtuales cada vez más similares a la realidad, sino también para entender cómo se crean. Estas nuevas tecnologías edifican paisajes virtuales moldeando nuestra relación con el entorno inmediato, y en ese proceso, nos obligan a repensar el papel que comienzan a jugar los diseñadores de experiencias inmmersivas. La arquitectura invisible. El sonido siempre fue una arquitectura invisible, un idioma que habla directo al cuerpo. La reverberación de un túnel subterráneo nos dice más sobre su profundidad que cualquier render en 4K. “The echo of footsteps on a paved street carries an emotional weight because the sound that reverberates from the surrounding walls places us in direct relation to the space.” Juhani Pallasmaa The crunch of gravel underfoot, the density of fog on an empty street, even the emptiness of artificial silence—these are all elements traditionally designed by human hands, with human decisions. But what happens when these landscapes begin to generate themselves? When sound stops being composed and starts being predicted? Una reverberación nos indica la profundidad de un túnel antes de verlo; la direccionalidad de un sonido nos hace girar la cabeza en una habitación oscura. Si el sonido siempre nos ha conectado con el espacio de forma intuitiva, la tecnología ahora redefine esa relación. https://www.youtube.com/watch?vyFnnVxH1O3Y A few years ago, I recorded a radio program inside the South Water Tower in Germany (Wasserturm Süd in Halle, Saale). La torre era cilindro inmenso, vacío, una cáscara de concreto y ladrillo. Esa experiencia marcó mi entendimiento de las reverberaciones. En un espacio circular de gran altura, una voz, un bandoneón y un clarinete transforman un espacio vacío y semiabandonado en un lugar lleno de vida. Me pregunto qué pasará cuando la acústica de un espacio deje de ser una consecuencia física y se convierta en una decisión algorítmica. Cuando una IA determine la duración exacta de una reverberación o la profundidad sonora de un túnel antes de que alguien lo atraviese, ¿seguiremos percibiendo el espacio de la misma manera? ¿O nos adaptaremos a una arquitectura sonora que ya no responde a nuestra presencia, sino a una lógica calculada acerca de cómo suena un espacio? El Futuro Suena a Datos Pero la industria del videojuego no solo observa este avance con entusiasmo, sino también con preocupación. WHAM (World and Human Action Model) como se llama a la tecnología que impulsa Muse, ya está demostrando que la predicción y la generación de entornos en tiempo real son la nueva frontera. From just one second of human gameplay—equivalent to ten frames—it is capable of predicting the evolution of a video game session. If Muse creates worlds and WHAM anticipates them, it’s only a matter of time before similar systems also handle the organization of sound in space. La IA no solo podrá generar sonidos en tiempo real, sino decidir dónde ubicarlos, cómo se comportan en relación al entorno y cuál será su interacción con el usuario. The technological evolution of audio spatialization, from stereophony to object-based audio, has transformed the way we experience sound in a space; but AI could take it one step further: a sound space that constantly adapts to the user’s position, speed, visual environment, and even their emotional state. Ya no hablaremos de diseñadores de sonido programando cada efecto manualmente, sino de sistemas entrenados para generar entornos sonoros completos. But it’s not just about creating sounds; it’s about defining the rules by which they will be distributed in the virtual space. Si la IA aprende a generar entornos sonoros, la pregunta es: ¿qué datos utilizará para entrenarse?. Si solo se alimenta de paisajes sonoros convencionales, podría acabar replicando un mundo estático, carente de la diversidad y la organicidad del sonido real. La IA no improvisa ni sueña; solo replica lo que le damos. Si entrenamos a un sistema con grabaciones de espacios urbanos que reflejan únicamente las culturas hegemónicas, estos podrían acabar siendo un eco artificial de las grandes potencias y la representación pobre de las regiones más marginadas. Si la base de datos proviene exclusivamente de grabaciones cinematográficas o bancos de sonidos que ya están en internet, perderemos la riqueza del sonido espontáneo y natural. La forma en que curemos estos datasets determinará el tipo de paisajes que se construirán en el futuro. Pero ¿Quiénes serán los próximos curadores de estos bancos de datos? Cómo nos preparamos para estos nuevos modelos en los que el arte se ve condicionado por la IA? Los usuarios se darán realmente cuenta de la diferencia? La industria de los videojuegos ya se ha dividido en dos posturas claras. Por un lado, están quienes ven a las nuevas IA generativas como una herramienta tecnológica que agiliza y perfecciona la creación de mundos, como Brendan Greene, responsable de popularizar el género battle royale, del cual surgieron juegos como Fortnite. Por otro lado, están quienes consideran que la IA reemplazará a los trabajadores de la industria con modelos carentes de creatividad y que los jugadores notarán este cambio. En este grupo se encuentran los creadores del sello No GEN AI, un colectivo de desarrolladores independientes que ha diseñado un logo para que los estudios puedan mostrarlo en las páginas de las tiendas digitales, indicando que en la creación del videojuego no se utilizó ninguna IA generativa. El Gran Desafío: Entre la Creación y la Curaduría La pregunta es: ¿seguiremos diseñando sonidos o empezaremos a curar datos sonoros para la IA? Desde mi punto de vista el diseñador de sonido del futuro ya no compondrá una atmósfera desde cero, sino que seleccionará, depurará y modelará datasets de millones de sonidos, entrenando así a un sistema que creará sonidos en tiempo real. Like a digital archaeologist, they won’t create as much as they will direct the machine’s possibilities. Their task will be to choose the sounds, define their characteristics, and establish the parameters with which AI will operate within an immersive environment. Si el rol del diseñador de sonido se inclina cada vez más hacia la gestión de datos y el entrenamiento de modelos, nuestra manera de percibir el espacio cambiará por completo. It’s not just about adapting but deciding whether we want the sound of the future to be a mere replica of what we already know or an opportunity to reimagine our relationship with listening, both in virtual and physical spaces. I am not against AI, but I don’t see it as an absolute solution either. I believe it is essential to understand its implications, explore its possibilities, and question its limits. Las respuestas a estas preguntas quizás nos den la posibilidad de encontrar huecos posibles en un sistema que determinará la forma en la que concebimos la realidad inmediata. Referencias y Recursos. Anuncio de la serie GeForce RTX 50 | Conferencia de prensa del CES 2025 a cargo del CEO Jensen Huang - The Creator of Battle Royales Wants to Reshape Gaming — Again NVIDIA redefine la inteligencia artificial en los videojuegos con personajes autónomos ACE. - Video game performers are on strike — and AI is the sticking point - Xbox Pushes Ahead With New Generative AI. Developers Say ‘Nobody Will Want This’ - I’m Not Convinced Ethical Generative AI Currently Exists - El Sello No AI Generativa Modelos del mundo y de la acción humana hacia la ideación del juego.

Muse

Sonido, datos y la creación del espacio virtual.

Sol Rezza