Facial Expression

Mimik ist eine zentrale Form der nonverbalen Kommunikation. Selbst ohne Worte können Menschen ihre Gefühle, Absichten und Gedanken über Gesichtsausdrücke zeigen. Mimik in der Kunst, speziell in der Musik, verstärkt sprachliche und musikalische Darbietungen, bringt z. B. den verborgenen Sinn hinter Worten und Sätzen zum Vorschein.
Die Vorstellung, dass jede innere Gemütsbewegung eine Entsprechung in Mimik und Gestik findet, geht bis auf die antike Rhetorik zurück. Dort wird der menschliche Körper mit einem Instrument verglichen, dessen Saiten durch emotionale Impulse „gespielt“ werden. So stellte sich Stephan Kloß die Frage, ob Mimik über ihre Rolle als Verstärker hinausgehen und selbst Klänge erzeugen, sie als musikalischer Controller dienen könne. Um dies zu beantworten, nutzte er öffentlich zugängliche Face-Tracking Bibliotheken sowie selbst entwickelte Softwareelemente der Klangsynthese, Sequenzierung und Visualisierung.
Wenn Mimik und musikalische Parameter wie Tonart und Timbre zusammengeführt werden, entstehen neue Ausdrucksformen, bei denen die Gesichtsmuskulatur zu einer Art „Taste – Key“ wird, die selbst Noten spielt. So wird Mimik nicht nur zur visuellen, sondern auch zur auditiven Geste.
Darüber hinaus beschäftigte Stephan Kloß sich mit dem Gesicht als Repräsentanten individueller Vergangenheit. Die Zeit hinterlässt Spuren. Daraus entstand ein visuelles Konzept für eine Anwendung, die nicht nur die Mimik trackt, sondern die Vergangenheit sichtbar macht: MIMIKEY, eine interaktive, musikalische Installation, die die Vergangenheit les- und hörbar macht. Diese Installation soll über mehrere Tage und Wochen durch verschiedene Interaktionen unterschiedlichste Klangerfahrungen hervorbringen. Auf der visuellen Ebene manifestiert sich jede Interaktion auf den sich vermehrenden Ringen innerhalb der jeweiligen Gesichtsregionen. Genauso wird auch die musikalische Ebene mitgeschrieben.

Die Ergebnisse des Arbeitsstipendiums wurden in der Ausstellung „TWIST“ im Frühjahr 2026 ausgestellt.