Instruct NeRF2NeRF

In diesem Blogpost werden wir die Methode Instruct NeRF2NeRF vorstellen, die es ermöglicht, 3D-Szenen mit Text-Anweisungen zu bearbeiten. Wir werden die Funktionsweise, die Ergebnisse und die Implementierung dieser Methode erläutern.

Überblick

Instruct NeRF2NeRF ist eine Methode, die es ermöglicht, NeRF-Szenen (Neural Radiance Fields) mit Text-Anweisungen zu bearbeiten. Die Methode verwendet ein image-konditioniertes Diffusionsmodell (InstructPix2Pix), um die Eingabebilder iterativ zu bearbeiten, während die zugrunde liegende Szene optimiert wird. Dies führt zu einer optimierten 3D-Szene, die die Bearbeitungsanweisung respektiert.

Funktionsweise

Die Methode funktioniert wie folgt:

1. Ein Bild wird aus der Szene gerendert.
2. Das Bild wird durch InstructPix2Pix bearbeitet, basierend auf einer globalen Text-Anweisung.
3. Das bearbeitete Bild ersetzt das ursprüngliche Bild im Trainingsdatensatz.
4. Die NeRF-Szene wird weiter trainiert.

Ergebnisse

Die Methode hat sich als erfolgreich erwiesen, um große, realistische 3D-Szenen zu bearbeiten. Die Ergebnisse zeigen, dass die Methode in der Lage ist, realistische und zielgerichtete Bearbeitungen durchzuführen.

Implementierung

Die Implementierung von Instruct NeRF2NeRF basiert auf Nerfstudio und erfordert die Installation von PyTorch und tinycudann. Die Installation kann durch Ausführen der folgenden Befehle erfolgen: pip install git+https://github.com/ayaanzhaque/instruct-nerf2nerf Danach kann die Methode verwendet werden, um NeRF-Szenen zu bearbeiten.

Zitate

Wenn Sie diese Arbeit verwenden oder finden, dass sie hilfreich ist, bitten wir Sie, die folgende Zitation zu verwenden: @inproceedings{instructnerf2023, author = {Haque, Ayaan and Tancik, Matthew and Efros, Alexei and Holynski, Aleksander and Kanazawa, Angjoo}, title = {Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions}, booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision}, year = {2023}, }

Danksagung

Wir danken unseren Kollegen für ihre hilfreichen Diskussionen und Feedback.