Omniverse Audio2Face

Einführung

NVIDIA Audio2Face ist eine innovative Anwendung, die es ermöglicht, expressive Gesichtsanimationen aus Audioquellen zu erstellen, indem sie künstliche Intelligenz (KI) verwendet. Diese Anwendung ist Teil der NVIDIA Omniverse-Plattform und ermöglicht es Benutzern, Gesichtsanimationen für 3D-Charaktere zu erstellen, ohne dass sie umfassende Kenntnisse in der Animationstechnik haben müssen.

Funktionsweise

Audio2Face verwendet ein tiefes neuronales Netzwerk, um die Audioeingabe zu analysieren und die 3D-Vertizes des Charaktermeshes in Echtzeit zu animieren. Die Anwendung ist vorinstalliert mit einem 3D-Charaktermodell namens "Digital Mark", das mit der Audioeingabe animiert werden kann. Benutzer können auch ihre eigenen 3D-Charaktere verwenden und die Animation auf diese übertragen.

Funktionen

• Audio-Eingabe: Benutzer können eine Audioaufnahme hochladen oder live über ein Mikrofon aufzeichnen.
• Character Transfer: Die Anwendung ermöglicht es, die Animation auf beliebige 3D-Menschen oder menschenähnliche Gesichter zu übertragen.
• Skalierbare Ausgabe: Benutzer können multiple Instanzen von Audio2Face ausführen und mehrere Charaktere in einer Szene animieren.
• Emotion Control: Die Anwendung ermöglicht es, die Emotionen des Charakters zu wählen und die Animation entsprechend anzupassen.
• Data Conversion: Audio2Face unterstützt die Konvertierung von Blendshapes und die Export-Import-Funktion mit Blendshapes für Blender und Epic Games Unreal Engine.

Systemanforderungen

• Betriebssystem: Windows 10 (1909 oder neuer) oder Ubuntu Linux (20.04 oder neuer)
• Omniverse Nucleus: Erforderlich für den Zugriff auf die Anwendung

Neue Funktionen in Audio2Face 2023

• Ai-Modell "Claire": Ein neues multilinguales AI-Modell, das es ermöglicht, Gesichtsanimationen in verschiedenen Sprachen zu erstellen.
• Live Link und Avatar-Streaming: Die Anwendung kann jetzt eine Live-Stream von Blendshape-Animationsdaten an externe Anwendungen senden, um die Gesichtsanimation eines Charakters zu steuern.

Schlussfolgerung

Omniverse Audio2Face ist eine leistungsfähige Anwendung, die es ermöglicht, expressive Gesichtsanimationen aus Audioquellen zu erstellen, ohne dass umfassende Kenntnisse in der Animationstechnik erforderlich sind. Die Anwendung bietet eine Vielzahl von Funktionen und Möglichkeiten, um die Animation anzupassen und zu skalieren.