Interaktive Medien

StyleTransfer, SuperSlowMo und SuperEnhance

…sind drei Anwendungen moderner Technik.

StyleTransfer

Mit “Style Transfer” hat man zwei Möglichkeiten:
1. Die Software “erlernt” Parameter zur Bildgestaltung wie Liniengestalt, Farbschema und Formsprache ausgehend von einem Bild.
Je länger das GAN (generative adversarial network) neue Bilder “halluziniert” und mit dem Input abgleicht, desto präziser werden die Parameter.
2. Die Software wendet die “erlernten” Parameter an und gestaltet ein Bild damit um.
Ich habe fast-style-transfer implementiert und den Stil folgenden Bildes von meinem Computer “erlernen” lassen:

Und auf folgende drei Bilder angewandt:

 

Das sind die Ergebnisse:


Super Slow Motion

Möchte man ein 1-sekündiges Video mit 24 Bildern verlangsamt abspielen, so hätte man in der Zeitlupe nur noch 12 Bilder pro Sekunde, wenn man die Zeit verdoppelt.
Die dann fehlenden Bilder können mit super-slowmo zwischen die Bilder “halluziniert” werden.
Das funktioniert praktisch, und wird besonders interessant wenn man das auf schnelle Bewegungen und Cuts anwendet, wofür die Software nicht gut geeignet ist.
Originalvideo:

SuperSlowMo:

 

Super Enhance

Das ist schon etwas älter, wurde aber noch nicht zu Protokoll gegeben und passt ganz gut.
Möchte man ein Bild digital skalieren, so werden bei Vergrößerung fehlende Pixel aus umgebenden Pixeln “interpoliert”. Das wirkt immer verschwommen.
NeuralEnhance “halluziniert” diese fehlenden Pixel hingegen.
Vor 3 Jahren habe ich im Rahmen meiner Arbeit an Boreal Alyph von KAFF mit meiner Implementierung von neural-enhance Texturen alter Videospiele “erneuert”.
Original:

SuperScaled:

 

Zur Technik

Das “künstliche Intelligenz” “halluziniert” ist jetzt nicht mehr neu.
Riesige Datensätze an Bildern werden analysiert, zur Problemlösung benötigte Zusammenhänge automatisch “erkannt” und können dann Anwendung finden.
Aktueller Trend ist schwarz/weiße Filme mit Alterserscheinungen zu restaurieren und zu kolorieren, fehlende Photos für photogrammatische Erstellung von 3D-Modellen “halluzinieren” zu lassen,  Musik- und Melodiekompositionen zu automatisieren und aus wörtlicher Beschreibung Bilder zu generieren.
Ein Hit wird das Restaurieren vom Klang alter Audioaufnahmen, das sehe ich noch nicht.

PS: Die drei hier benannten Softwaresysteme habe ich in meines Implementiert. Dienstleistung gefällig? Freue mich immer über einen Austausch.