Das „Virtuelle Interdimensionale Geisterteleportationsgerät“ ist eine interaktive 3D-Webanwendung, die Figuren der japanischen Mythologie im Browser erscheinen lässt. Über eine digitale „Merkaba“ werden die Wesen in eine virtuelle Welt teleportiert, können betrachtet und per Klick in einem Infobox-Overlay erforscht werden.
Ein Portfolioprojekt, dessen Ziel ist es, über japanische Mythen auf deutsch lernen zu können und kulturelle Brücken zu schlagen.

Frontend: Three.js
Backend: Node.js, Express, Websocket
3D-Modelle: Hunyuan3D-2, Bearbeitung in Blender
Info-Texte: ChatGPT

Die 3D-Umgebung inklusive Models und Texturen, darunter eine 1200px x 900px Baumkronentextur und eine HDRI-Environment-Map, so wie der der Code sind insgesamt kleiner als 500 KiloByte.
Die 3D Modelle werden dynamisch geladen, der Client hat von ihnen keine Information bis der Server sie “pusht”. Die Kommunikation zum Server so wie die Funktion zum spawnen sind in den Spinner (Merkaba) integriert.
Mobile Darstellung ist weniger rechenintensiv als die Desktop-Version. Ein Adaptive-Fidelity-System wurde eingesetzt.

Das Schriftzeichen 一日 kann gelesen werden als “いちにち” (“den ganzen Tag”), oder als ついたち (“der erste Tag des Monats”).
Je nach Kontext unterscheiden sich die Lesungen mancher Kanji.

Furigana sind eine japanische Lesehilfe. Es handelt sich dabei um Hiragana-Zeichen, die in der japanischen Schrift neben oder über einem Kanji geschrieben werden, um dessen Aussprache anzugeben.

Herkömmliche Furigana-Software erkennt die ganzheitliche Bedeutung, beziehungsweise den Kontext eines Textes nicht, und ist daher manchmal nicht in der Lage die Furigana so anzugeben, wie ein japanischer Leser den Text wirklich lesen würde.

Mit K.I. ist das nun allerdings möglich, weshalb ich diese Software programmiert habe.
“Smart-Furi” analysiert den Text auf Kontext, Umgangston, et cetera, um die passenden Lesungen dem Text als Furigana hinzuzufügen – damit man die Lesungen der Schriftzeichen nicht falsch lernt, sondern so, als ob eine japanische Person den Text (vor)lesen würde.

Das UNESCO-Projekt “Intangible Cultural Heritage” (ICH) bietet eine beeindruckende Sammlung immateriellen Kulturerbes sowie ein Register bewährter Schutzmaßnahmen.
Diese sind auf der Website von UNESCO auf Englisch, Französisch und Spanisch zu finden, und beschreiben schön die individuellen, kulturellen Eigenheiten der Nationen der Welt.

Als Freund der Online-Ethnologie habe ich hierfür ein neues Interface in Form einer interaktiven Weltkarte (JavaScript, OpenStreetMap & GeoJSON) aufgesetzt.
Klickt man ein Land an erhält man Einsicht in die Kultur des Landes, wie die UNESCO sie registriert hat (UNESCO Open-Access-Datenbank).
Unter Einsatz der ChatGPT-API und Python habe ich die gesamte Datenbank in die 10 häufigst gesprochenen Sprachen der Welt übersetzt. Ausserdem habe ich mit Topaz AI alle Bilder aus der Datenbank verbessert / vergrößert.

Klickt man auf den Würfel, so bekommt man einen zufälligen Beitrag angezeigt.
Entdecke die Welt!

Hinweis: Nicht für die mobile Ansicht geeignet

Quellen:

• UNESCO Open-Access-Datenbank: Metadaten, Beschreibungen und Bilder aus der UNESCO ICH-Datenbank wurden für dieses Projekt verwendet.
• OpenStreetMap: Die Kartendarstellung basiert auf Kacheln von OpenStreetMap.
• GeoJSON-Weltkarte: Die Vektordaten für die Länderkonturen stammen aus dem Open-Source-GeoJSON-Projekt.
• IPAPI (ipapi.co): Die automatische Standortbestimmung erfolgt über den API-Dienst ipapi.co.
• Topaz AI: Die Bilder aus der UNESCO-Datenbank wurden mit Topaz AI hochskaliert.
• ChatGPT (OpenAI): Die Übersetzungen der UNESCO-Daten in 10 Sprachen wurden mit ChatGPT erstellt.

Dieses Projekt ist ein experimentelles, nicht-kommerzielles Portfolio-Projekt und dient ausschließlich Demonstrationszwecken. Alle Inhalte (Bilder, Texte, Titel) sind Eigentum der UNESCO. Die Übersetzungen wurden mithilfe von KI (ChatGPT) erstellt. Die Kartenkacheln stammen von OpenStreetMap. Es besteht keinerlei Verbindung zur UNESCO, OpenStreetMap oder anderen Organisationen. Die vollständigen UNESCO-Metadaten sind auf Englisch als Download verfügbar.

“Mars ist doof” – Eine Lektüre auf dem Mars von Skip Mantletons “Mars is stupid” (1974), vorgelesen vom Sprachroboter Brian.
Er liest die Paragraphen des Buches in zufälliger Reihenfolge vor, wodurch sich 5,443449391×10⁹² verschiedene Szenarien ergeben, jede mit einer Lesezeit von circa 13 Minuten.

Beschäftigung mit der Frage wie und ob man elektronsiche Kunst (digital) reproduzieren kann, was ein Replikat überhaupt ist, und wie es wirkt. Zu sehen ist das dabei entstandene Nebenprodukt in JavaScript.

Von 2015 bis 2019 beschäftigte ich mich während meines Studiums an der Hochschule der Bildenden Künste Saar in Saarbrücken intensiv mit Künstlicher Intelligenz, virtuellen Humanoiden, Mensch-Maschine-Interaktionen sowie den daraus resultierenden philosophischen und kulturellen Fragestellungen. Dabei setzte ich mich sowohl theoretisch als auch praktisch-künstlerisch mit den Grenzen und Missverständnissen im Umgang mit KI-Technologien auseinander.

In meiner Bachelorarbeit „Vergleich zwischen künstlicher und realer Intelligenz“ (2017, Abschlussnote 1.0) erforschte ich, wie digitale Avatare mittels genetischer Algorithmen Lernprozesse simulieren und verglich diese mit den realen Lern- und Schmerz-Erfahrungen eines menschlichen Performers. Die Performance „Learning“ nutzte dafür den optischen Pepper’s-Ghost-Effekt zur räumlichen Darstellung eines digitalen Charakters. Die Ergebnisse zeigten deutlich die emotionale Kluft zwischen technischer Simulation und menschlichem Erleben auf.

In meiner Masterarbeit erweiterte ich diesen Ansatz und beschäftigte mich vertieft mit der Wahrnehmung und Inszenierung von virtuellen Charakteren sowie deren Interaktionen mit Menschen. Unter anderem entstanden folgende Projekte:

• Gerkzeuk (2016): Ein computergesteuertes Objekt, das autonom Bilder aus dem Internet herunterlädt, verändert und verkauft. Dieses Objekt stellte grundlegende Fragen nach Autorenschaft, Maschinenethik und der Rolle des Künstlers. Durch eine holografische Darstellung („Iris“) erhielt der maschinelle Künstler zusätzlich eine menschenähnliche Persona.
  Link zur Projektseite
  
• Pepper’s Ghost Kristalle (seit 2016): Interaktive Vitrinen, die virtuelle Humanoide holografisch abbilden und mit Gesichtserkennungs-, Emotionsanalyse- sowie Spracherkennungssoftware ausgestattet sind. Diese Arbeit forschte intensiv daran, künstliche und menschliche Interaktion greifbar zu machen.
  Link zur Projektseite
  
• Vergleich zwischen künstlicher und realer Intelligenz (2017): Eine Performance, in der ein digitaler Charakter mittels genetischer Algorithmen parallel zu einem menschlichen Performer versucht, grundlegende motorische Fähigkeiten zu erlernen. Die Arbeit offenbart deutlich die Unterschiede und emotionalen Dimensionen zwischen digitaler Simulation und menschlichem Erleben.
  Link zur Projektseite
  
• Anti-Art (2019): Eine bewusst simple Apparatur mit einer Marionette, gesteuert durch unvorhersehbare Impulse, die humorvoll und kritisch den Hype um KI-Technologien und deren häufige Überschätzung reflektiert.
  Link zur Projektseite
  
• Rauminstallation zur Master-Ausstellung (2019): In einer szenografischen Situation setzte ich Besucher einer reflektierenden Interaktion aus, indem sie automatisch fotografiert und ihre Gesichter projiziert wurden, wodurch Themen wie Selbstwahrnehmung, Datenschutz und Echokammern greifbar wurden.
  Link zur Projektseite

Diese Projekte wurden begleitet von theoretischen Reflexionen zu Transparenz im Design, Black Box-Problematik, zufälligen und deterministischen Systemen sowie ethischen und philosophischen Dimensionen von KI. Inspiriert von Referenzen wie Frieder Nake, Andrew Glassner und Richard David Precht, setzte ich mich kritisch mit Begriffen und Missverständnissen rund um künstliche Intelligenz, künstliches Leben und Bewusstsein auseinander.

Aus meiner künstlerischen Forschung ergaben sich folgende zentrale Erkenntnisse:

• KI-Technologien können menschliches Verhalten zwar nachahmen, erzeugen dabei jedoch keine echte emotionale Tiefe oder authentische Empathie. Die von Maschinen erzeugte Illusion menschlicher Interaktion bleibt in ihrer Wirkung stets auf einer oberflächlichen Ebene.
• Der Missbrauch metaphorischer Begriffe aus Biologie und Neurowissenschaften in der Technologie (wie “Neuronales Netz” oder “Intelligenz”) trägt maßgeblich zu Missverständnissen und einer mythischen Überhöhung technischer Möglichkeiten bei.
• Der Einsatz von Transparenzdesign und die Offenlegung technischer Prozesse sind essenziell, um Ängste abzubauen und kritisches Denken gegenüber modernen Technologien zu fördern.
• Zufälligkeit und Unvorhersehbarkeit in technischen Systemen erzeugen oftmals eine Wahrnehmung von Magie oder Autonomie, die zur Überinterpretation technischer Fähigkeiten führen kann.
• Die kulturelle und gesellschaftliche Rezeption von KI-Technologien und virtuellen Charakteren ist stark beeinflusst von Projektionen und Fantasien, die tief verwurzelt sind in unserer psychologischen Tendenz, menschenähnliche Eigenschaften in technischen Artefakten wahrzunehmen.
• Trotz der scheinbaren Eigenständigkeit von Software und Maschinen liegt die Verantwortung stets beim Menschen, der diese Systeme entwirft, programmiert und bedient. Maschinen und Software bleiben immer Werkzeuge und werden niemals selbst zu eigenständigen Subjekten.
• Die Frage nach der Bedeutung von “Leben” gewinnt durch die Beschäftigung mit autonomen und selbstreproduzierenden Programmen wie der „Forkbomb“ an neuer Tiefe und fordert die klassischen biologischen Definitionen heraus.
• In psychologischer Hinsicht zeigt sich in der Arbeit von Wissenschaftlern, IT-Technikern und Künstlern oft eine unbewusste Motivation, künstliche Wesen zu erschaffen, vergleichbar mit dem in der Psychologie diskutierten “Gebärmutterneid”. Hier spiegelt sich das tiefe Bedürfnis wider, selbst schöpferisch Leben oder lebendige Systeme hervorzubringen.
• Objektorientiertes Programmieren eröffnet die Möglichkeit, virtuelle Welten nachzubauen, und lädt zur Reflektion über die Grenzen zwischen Realität und Simulation ein.

Meine Arbeit zwischen 2015 und 2019 stellt somit eine vielseitige, kritische und innovative Auseinandersetzung mit Menschlichkeit, Technologie und ihren komplexen Beziehungen dar und möchte dazu beitragen, den öffentlichen Diskurs zu diesen Themen fundiert und reflektiert zu gestalten.

Die Exklusivität von Apple-Produkten spiegelt sich in der Struktur des Hauptgebäudes in Cupertino, SF, wieder – ein Ring wie ein Bollwerk mit Funktion eines Kreuzganges. Passend zum iMac und seiner Interkompatibilität weist auch das 1. Buch der Makkabäer darauf hin wie gefährlich es sein könnte sich dem Fremden zu öffnen (ähnlich auch dem Buch Esra, welches “die Reinheit des heiligen Volkes” propagiert). Deshalb dieses zynische Spiel, in dem der Spieler die “Reinheit” seines Volkes erhalten muss.

Visualisierung der Sterberate realer Menschen im Vergleich zur Sterberate virtueller Humanoider.
Szenewechsel durch Klicken.
Das Problem am vielen virtuellen Sterben der virtuellen Humanoiden: Das Sterben erscheint viel gewöhnlicher, als es in Wahrheit ist. Durch das Erleben überproportional häufigen Sterbens nimmt es Normalität ein – man stumpft ab.
Beispielhafte Datenvisualisierung als Zeiger auf die Verzerrung der eigenen Wahrnehmung durch medialen Einfluss.

A punch card generator for quantum computers (hypothetic). Comparison of bit and qubit.
Practical thinking about interfaces for qubits starting from the idea, that logic or computation by qubits can be understood with 3D-vectors.

Manual: The left orb represents a bit. “State” controllable by clicking on it. The right sphere represents a qubit. “State” controllable in 3D-space by drag’n’drop (x- and y-axis) and mouse wheel (z-axis) via the inner sphere.
Small orbs toggle punch card printing.

Funktionen der Zwischenmenschlichkeit auf NPCs anwenden. Ursprüngliches Konzept: Irgendwas mit Dialektik