Die automatische Spracherkennung (ASR) hat in den letzten Jahren enorme Fortschritte gemacht. Ein wichtiger Meilenstein auf diesem Gebiet ist die Entwicklung von Whisper, einem neuronalen Netzwerk, das die menschliche Robustheit und Genauigkeit bei der englischen Spracherkennung erreicht.
Whisper ist ein ASR-System, das auf 680.000 Stunden multilingualer und multitask-gesteuerter Daten aus dem Web trainiert wurde. Dieses System zeichnet sich durch seine Robustheit gegenüber Akzenten, Hintergrundgeräuschen und Fachsprache aus. Darüber hinaus ermöglicht es die Transkription in mehreren Sprachen und die Übersetzung aus diesen Sprachen ins Englische.
Die Whisper-Architektur basiert auf einem einfachen end-to-end-Ansatz, der als Encoder-Decoder-Transformer implementiert wurde. Eingehende Audiodaten werden in 30-Sekunden-Blöcke aufgeteilt, in ein log-Mel-Spektrogramm konvertiert und dann an einen Encoder übergeben. Ein Decoder wird trainiert, um die entsprechende Textbeschriftung vorherzusagen, die mit speziellen Token gemischt wird, um die Modell zu verschiedenen Aufgaben wie Spracherkennung, Phrasen-zeitstempeln, multilingualer Sprachtranskription und Übersetzung ins Englische zu leiten.
Whisper erreicht eine hohe Genauigkeit und Robustheit bei der Spracherkennung, insbesondere bei der Verarbeitung von Daten mit verschiedenen Akzenten und Hintergrundgeräuschen. Im Vergleich zu anderen Ansätzen, die auf kleineren und speziell ausgewählten Datensätzen trainiert wurden, erreicht Whisper eine um 50% geringere Fehlerquote.
Die hohe Genauigkeit und einfache Verwendbarkeit von Whisper machen es zu einem idealen Werkzeug für Entwickler, um Sprachinterfaces in eine Vielzahl von Anwendungen zu integrieren. Wir hoffen, dass Whisper dazu beiträgt, die Verwendung von Sprachinterfaces in verschiedenen Bereichen zu fördern.
Weitere Informationen zu Whisper finden Sie in unserem Paper, Model Card und Code.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.