DreamFusion

DreamFusion ist ein text-to-3D-Modell, das es ermöglicht, 3D-Objekte und -Szenen aus Textbeschreibungen zu generieren. Das Modell verwendet ein vortrainiertes 2D-Text-to-Image-Diffusionsmodell als Prior für die Optimierung eines parametrischen Bildgenerators.

Funktionsweise

DreamFusion verwendet ein Score-Distillation-Sampling-Verfahren (SDS), um Proben aus einem Diffusionsmodell zu generieren. Dieses Verfahren ermöglicht es, Proben in einem beliebigen Parameterspace zu optimieren, solange eine differentielle Abbildung auf Bilder möglich ist. DreamFusion verwendet eine 3D-Szene-Parameterisierung ähnlich wie Neural Radiance Fields (NeRFs), um diese differentielle Abbildung zu definieren.

Leistungen

DreamFusion kann relightbare 3D-Objekte mit hoher Fidelity generieren, einschließlich Erscheinungsbild, Tiefe und Normalen. Die generierten NeRF-Modelle können in Meshes exportiert werden, um sie in 3D-Renderern oder Modellierungssoftware zu verwenden.

Beispiele

DreamFusion kann eine Vielzahl von 3D-Objekten und -Szenen generieren, einschließlich Tieren, Objekten, Szenen und mehr. Einige Beispiele sind:

• Ein Fuchs, der ein Cello spielt
• Ein humanoider Banane, der Hausaufgaben macht
• Ein Vulkan, der eruptiert
• Ein Saguaro-Kaktus in einem Töpfchen

Implementierung

Eine PyTorch-Implementierung von DreamFusion ist auf GitHub verfügbar. Die Implementierung verwendet Stable Diffusion als Text-to-2D-Modell und unterstützt die Verwendung von Perp-Neg, um das Multi-Head-Problem in Text-to-3D zu lösen.

Limitationen

Das Projekt ist noch in Arbeit und enthält viele Unterschiede zum Originalpapier. Die aktuelle Generationqualität kann nicht mit den Ergebnissen aus dem Originalpapier verglichen werden, und viele Prompts funktionieren noch nicht ordnungsgemäß.