M-VADER

Das Heidelberger KI-Forschungsunternehmen Aleph Alpha hat in Zusammenarbeit mit der TU Darmstadt ein KI-System entwickelt, das Text- und Bildvorgaben in beliebiger Kombination in bildlichen Output umsetzt. M-VADER nutzt einen multimodalen Encoder (S-MAGMA) und eine feingetunte Version von Stable Diffusion, die Kontexte aus Text-, Bild- oder kombinierten Text- und Bildvorgaben als Prompt akzeptiert.

Funktionsweise

M-VADER ermöglicht die Erstellung von Bildern aus beliebigen Text- und Bildvorgaben. Das Modell kann handgezeichnete Skizzen einbeziehen und mit weiteren Bildern sowie Textprompts zu einem kohärenten Ergebnis zusammenführen. Durch die Kombination von Text- und Bildvorgaben kann das System eigenständig den Körper in Richtung Katzenform weitermodelliert werden, was weder im Text- noch im Bildprompt direkt vorgegeben war.

Technische Bestandteile und Gewichtung

M-VADER besteht aus einer dreiteiligen Architektur, die einen multimodalen Encoder (S-MAGMA) und eine feingetunte Version von Stable Diffusion enthält. Der multimodale Encoder ermöglicht die Verarbeitung von Text- und Bildvorgaben in beliebiger Kombination. Die feingetunte Version von Stable Diffusion akzeptiert Kontexte aus Text-, Bild- oder kombinierten Text- und Bildvorgaben als Prompt.

Anwendungen

M-VADER bietet vielfältige Anwendungsmöglichkeiten in der Bildsynthese. Durch die Kombination von Text- und Bildvorgaben kann das System eigenständig Bilder erstellen, die eine bestimmte Szene oder ein bestimmtes Objekt darstellen. Dies kann in verschiedenen Bereichen wie der Kunst, der Werbung oder der Wissenschaft eingesetzt werden.

Forschungspaper

Das Forschungspaper zu M-VADER wurde auf arXiv veröffentlicht und beschreibt die technischen Details des Modells. Das Paper enthält auch Beispiele für die Anwendung von M-VADER in der Bildsynthese.

Fazit

M-VADER ist ein leistungsfähiges KI-Modell für die Bildsynthese aus Text- und Bildvorgaben. Durch die Kombination von Text- und Bildvorgaben kann das System eigenständig Bilder erstellen, die eine bestimmte Szene oder ein bestimmtes Objekt darstellen. M-VADER bietet vielfältige Anwendungsmöglichkeiten in der Bildsynthese und könnte in verschiedenen Bereichen wie der Kunst, der Werbung oder der Wissenschaft eingesetzt werden.