juliana & andrey vradyabout

VIA VISUALS
The Digital Concert Hall of Emotions
Deutsche Staatsphilharmonie Rheinland-Pfalz / 2023

VIA VISUALS: Der digitale Konzertsaal der Gefühle
MODEST MUSSORGSKY „BILDER EINER AUSSTELLUNG“
Staatsphilharmonie Rheinland-Pfalz / 2023

Dirigent: Michael FrancisIntendant: Beat Fehlmann
Künstlerische Konzeption: Juliana und Andrey Vrady
Technische Konzeption und Umsetzung: Andreas JungingerTechnikteam: Jochen Keller, Lars Lauer


Live performance of Modest Mussorgsky — Pictures at an Exhibition

VIA VISUALS transformed a symphony concert into a collective emotional landscape.


While Modest Mussorgsky's Pictures at an Exhibition was performed live by the Deutsche Staatsphilharmonie Rheinland-Pfalz, artificial intelligence continuously interpreted facial expressions from both the orchestra and the audience. Their emotions became abstract digital paintings projected in real time, creating a new visual layer alongside the music.
‍‍„Wenn wir uns fragen, wie ein digitales Konzert aussehen kann, müssen wir immer mitbedenken, dass das Virtuelle das gemeinschaftliche Live-Erlebnis nicht ersetzen kann. Im digitalen Raum sind wir primär voneinander getrennt und isoliert. Im Projekt ViaVisuals – dem digitalen Konzertsaal der Gefühle, teilen die Zuschauenden jedoch über die visuelle Ebene ihre Emotionen und sind hierdurch auf besondere Art und Weise intensiv miteinander verbunden. Neben den individuellen Emotionen verbinden sich die Perspektiven aller Streamenden mit der emotionalen Haltung des — Beat Fehlmann, Intendant


Wie sehen unsere Emotionen aus, wenn wir Musik hören? Wie reagiert unser Gehirn auf Musik? Gemeinsam mit dem Medienkünstler-Duo Andrey und Juliana Vrady und dem Software-Entwickler Andreas Junginger erkundet die Staatsphilharmonie die Möglichkeiten eines digitalen Musikerlebnisses. Über den eigenen Laptop oder das Tablet verfolgen die Zuschauer*innen ein Konzert, das live aus der Philharmonie gestreamt wird. Dabei werden über eine Gesichtserkennungs-Software Mimik und physiognomische Reaktionen der Zuschauer*innen sowie des Dirigenten erfasst und in biometrische Daten übersetzt. Mit diesem Datensatz transformiert die Software die Stimmungen in Echtzeit und gibt sie wieder als digitales Gemälde aus Farben und Formen, welches die Gefühlswelt der Zuhörenden spiegelt.
Wie sehen unsere Emotionen aus, wenn wir Musik hören? Wie reagiert unser Gehirn auf Musik? Gemeinsam mit dem Medienkünstler-Duo Andrey und Juliana Vrady und dem Software-Entwickler Andreas Junginger erkundet die Staatsphilharmonie die Möglichkeiten eines digitalen Musikerlebnisses. Über den eigenen Laptop oder das Tablet verfolgen die Zuschauer*innen ein Konzert, das live aus der Philharmonie gestreamt wird. Dabei werden über eine Gesichtserkennungs-Software Mimik und physiognomische Reaktionen der Zuschauer*innen sowie des Dirigenten erfasst und in biometrische Daten übersetzt. Mit diesem Datensatz transformiert die Software die Stimmungen in Echtzeit und gibt sie wieder als digitales Gemälde aus Farben und Formen, welches die Gefühlswelt der Zuhörenden spiegelt.