ControlNet Pose

ControlNet Pose ist ein Tool, das verwendet wird, um Bilder zu generieren, die dieselbe Pose wie die Person im Eingangsbild haben. Es verwendet Stable Diffusion und ControlNet, um Gewichte von Neural Network-Blöcken in eine "gesperrte" und "trainierbare" Kopie zu kopieren.

Funktionen

• Die Anzahl der Proben, die Bildauflösung, die Führungsskala, den Seed, Eta, den hinzugefügten Prompt, den negativen Prompt und die Auflösung für die Erkennung können definiert werden.
• Die Vorhersagen werden normalerweise innerhalb von 21 Sekunden abgeschlossen.

Hintergrund

ControlNet Pose basiert auf dem ControlNet-Modell, das von Lvmin Zhang und Maneesh Agrawala entwickelt wurde. Das Modell ermöglicht es, vorher trainierte Diffusionsmodelle mit zusätzlichen Bedingungen zu kontrollieren. Die ControlNet-Struktur lernt task-spezifische Bedingungen in einem end-to-end-Verfahren und ist robust, selbst wenn das Trainingsdataset klein ist.

Verwendung

ControlNet Pose kann in Kombination mit Stable Diffusion verwendet werden, um Bilder zu generieren, die dieselbe Pose wie die Person im Eingangsbild haben. Das Tool ist besonders nützlich für die Erstellung von Bildern, die eine bestimmte Pose oder Haltung zeigen müssen.

Lizenz

Die ControlNet Pose-Modelle stehen unter der CreativeML OpenRAIL M-Lizenz, die eine offene Lizenz für die Verwendung von KI-Modellen ist.

Quellen

• Hugging Face Model Card
• GitHub Repository
• Paper