Neuronaler Stiltransfer ist ein Verfahren zur Synthese eines Bildes \( \hat{I} \), das den Inhalt eines Quellbildes \( I_c \) und den Stil eines Zielbildes \( I_s \) kombiniert, basierend auf tiefen Convolutional Neural Networks (CNNs).
Formell wird die Optimierung über die Minimierung der Gesamtverlustfunktion
\[ \mathcal{L}_{total}(\hat{I}) = \alpha \mathcal{L}_{content}(\hat{I}, I_c) + eta \mathcal{L}_{style}(\hat{I}, I_s) \]
durchgeführt, wobei \( \alpha \) und \( eta \) Gewichtungsfaktoren sind.
Der Content-Loss wird oft als quadratischer Fehler der Feature-Maps einer bestimmten CNN-Schicht definiert:
\[ \mathcal{L}_{content}(\hat{I}, I_c) = rac{1}{2} \sum_{i,j} (F_{ij}^l(\hat{I}) - F_{ij}^l(I_c))^2 \]
wobei \( F^l \) die Aktivierungen in Schicht \( l \) sind.
Der Style-Loss basiert auf der Differenz der Gram-Matrizen der Feature-Maps über mehrere Schichten, die Textur- und Stilinformationen erfassen:
\[ \mathcal{L}_{style}(\hat{I}, I_s) = \sum_{l} w_l \| G^l(\hat{I}) - G^l(I_s) \|_F^2 \]
mit der Gram-Matrix \( G^l \) und Gewichtungen \( w_l \).
Die Optimierung erfolgt meist mit Gradientenverfahren, um ein Bild zu erzeugen, das Inhalt und Stil vereint.
Definition:
„Neuronaler Stiltransfer ist ein Verfahren, das mithilfe tiefer neuronaler Netzwerke den Inhalt eines Bildes mit dem Stil eines anderen Bildes kombiniert, indem es separate Repräsentationen für Inhalt und Stil in den Netzwerkschichten extrahiert und diese durch Optimierung zusammenführt.“
Quelle:
Gatys, L. A., Ecker, A. S., & Bethge, M. (2016). Image Style Transfer Using Convolutional Neural Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).