Macaw ist ein Frage-Antwort-Modell (QA-Modell), das sich durch seine hohe Leistung und seine kompakte Größe auszeichnet. Im Vergleich zu anderen populären Sprachmodellen wie GPT-3 kann Macaw trotz seiner geringeren Größe (11 Milliarden Parameter gegenüber 175 Milliarden bei GPT-3) ähnliche oder sogar bessere Ergebnisse erzielen.
Macaw basiert auf dem T5-Vorlagenmodell, das umfassend trainiert und angepasst wurde, um eine breite Palette von Frage-Typen zu beherrschen. Das Modell zeigt starke Leistungen bei der Beantwortung von Fragen ohne vorheriges Training (Zero-Shot-Performance).
In einem Benchmark-Test mit 300 Herausforderungsfragen konnte Macaw GPT-3 um über 10% überbieten. Dieser Erfolg ist umso beeindruckender, wenn man bedenkt, dass Macaw nur ein Zehntel der Parameter von GPT-3 aufweist.
Macaw ist öffentlich zugänglich und kann kostenlos genutzt werden. Weitere Informationen über das Macaw-Modell, die Datensatz-Erstellung und die Bewertung der Antworten finden Sie in der Vorabveröffentlichung "General-Purpose Question-Answering with Macaw" und auf dem AI2-Blog.
Eine Demo von Macaw ist verfügbar, in der Sie die Antworten des Modells mit denen von GPT-3 vergleichen können. Die Demo ermöglicht es Ihnen, Fragen nach verschiedenen Kategorien zu filtern und die Antworten der beiden Modelle zu vergleichen.
Macaw ist ein Projekt des Aristo-Teams am Allen Institute for Artificial Intelligence.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.