RoBERTa ist ein von Facebook und der Washington University entwickelter optimierter BERT-Pretraining-Ansatz. BERT (Bidirectional Encoder Representations from Transformers) ist eine von Google entwickelte Technik für das Training von auf der Transformer-Architektur basierenden NLP-Modellen.
RoBERTa steht für Robustly Optimized BERT Pre-training Approach. Es handelt sich um einen von Facebook und der Washington University entwickelten optimierten BERT-Pretraining-Ansatz. RoBERTa basiert vollständig auf BERT und modifiziert einige Trainingsmethoden und -parameter.
Das Ziel von RoBERTa ist die Optimierung des Pretrainings mit einer Reduzierung des Zeitaufwands. RoBERTa verwendet einige Methoden und Parameter von BERT und wurde vom Entwicklerteam in der Open-Source-Programmbibliothek PyTorch reimplementiert.
Für das Pretraining wurden einige Methoden und Parameter von BERT verändert und angepasst. Beispielsweise entfernten die Entwickler Next Sentence Prediction (NSP) aus dem Pretraining und führten das dynamische Maskieren ein. Darüber hinaus verzehnfachten die Entwickler die Menge an Trainingsdaten und erhöhten die Anzahl an Trainingsiterationen.
In verschiedenen NLP-Benchmarks wie GLUE (General Language Understanding Evaluation), SQuAD (Stanford Question Answering Dataset) oder RACE (ReAding Comprehension from Examinations) konnte RoBERTa exzellente Ergebnisse erzielen.
RoBERTa ist ein Teilgebiet der Künstlichen Intelligenz, die sich damit beschäftigt, wie ein Computer intelligentes, menschliches Verhalten nachahmen kann. Die Roberta-Initiative des Fraunhofer IAIS bereitet das Thema in unterschiedlichen Formaten auf und ermöglicht Kindern und Jugendlichen, Künstliche Intelligenz selbst zu programmieren.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.