Neuralangelo by Nvidia

Neuralangelo ist ein Framework für die hochauflösende 3D-Oberflächenrekonstruktion aus RGB-Videosequenzen, entwickelt von Nvidia Research. Dieses Framework ermöglicht es, digitale Zwillinge von Objekten und großen Szenen mit hoher geometrischer Detailtreue zu erstellen, indem es die Rekonstruktion von dichten 3D-Oberflächen aus Multi-View-Bildern ermöglicht.

Funktionsweise

Neuralangelo kombiniert die Repräsentationskraft von multi-resolution 3D-Hash-Grids mit neuronaler Oberflächenrendering. Zwei Schlüsselkomponenten ermöglichen dies:

1. Numerische Gradienten: Diese werden verwendet, um höhere Ableitungen zu berechnen und als Glättungsoperation auf die SDF (Signed Distance Function) anzuwenden.
2. Progressive Level of Details: Durch die progressive Verringerung des Schrittwerts für numerische Gradienten und die Aktivierung höher aufgelöster Hash-Grids wird die Optimierungslandschaft besser geformt, um sowohl große glatte Oberflächen als auch feine geometrische Details zu erfassen.

Anwendungsbereiche

Neuralangelo hat vielfältige Anwendungsbereiche, darunter:

• Digitale Zwillinge: Erstellung von digitalen Zwillingen von Objekten und großen Szenen für die Verwendung in der Industrie, im Gaming-Bereich und in der Robotik.
• Kunst und Design: Erstellung von 3D-Modellen für die Verwendung in der Kunst, im Design und in der Architektur.
• Video Game Development: Erstellung von 3D-Modellen für die Verwendung in Videospielen.

Ergebnisse

Neuralangelo hat bereits beeindruckende Ergebnisse erzielt, darunter die Rekonstruktion von Objekten wie Michelangelos David und von Gebäuden wie dem NVIDIA-Hauptquartier.

Verfügbarkeit

Neuralangelo ist jetzt auf GitHub verfügbar.

Fazit

Neuralangelo ist ein leistungsfähiges Framework für die hochauflösende 3D-Oberflächenrekonstruktion aus RGB-Videosequenzen. Es bietet vielfältige Anwendungsbereiche und hat das Potenzial, die Art und Weise, wie wir digitale Zwillinge erstellen, zu revolutionieren.