Yuan 1

Das Inspur Artificial Intelligence Research Institute hat kürzlich das Sprachmodell Yuan 1.0 vorgestellt, das mit 245,7 Milliarden Parametern und 5 TB an Datensätzen ausgestattet ist. Yuan 1.0 zeichnet sich durch eine beeindruckende Leistung sowohl beim Zero-Shot- als auch beim Little-Shot-Learning aus und ist in der Lage, Sprachinhalte zu generieren, die oft nicht von menschlich generierten Inhalten zu unterscheiden sind.

Entwicklung und Optimierung

Yuan 1.0 wurde von Anfang an als chinesisches Sprachmodell entwickelt, was einen einzigartigen Entwicklungsprozess im Vergleich zum Englischen erforderte. Dazu musste Inspur chinesisch-spezifische Herausforderungen bewältigen, wie die Bildung von Token in Sätzen ohne Leerzeichen und das Fehlen eines qualitativ hochwertigen chinesischen Sprachkorpus als Grundlage.

Um die benötigte Rechenleistung zu gewährleisten, wurde ein umfangreiches, dezentrales Lernsystem in die Designarchitektur von Yuan 1.0 integriert. Das System wurde dabei auf 2.128 GPUs verteilt.

Leistung und Ergebnisse

Yuan 1.0 gewann sowohl in ZeroCLUE als auch in FewClue für den Chinese Language Understanding Evaluation Benchmark (CLUE) den ersten Platz. In ZeroCLUE erzielte Yuan 1.0 eine um 18,3 Prozent höhere Punktzahl als der bisherige Rekord und belegte den ersten Platz bei sechs Aufgaben.

Bei FewCLUE belegte Yuan 1.0 den ersten Platz bei vier Aufgaben. Vor allem bei der Aufgabe zum Leseverständnis von Redewendungen übertraf Yuan 1.0 menschliche Fähigkeiten.

Yuan 1.0 ist äußerst leistungsfähig bei der Generierung natürlicher Sprache (Natural Language Generating, NLG). Es kann schriftliche Inhalte generieren, die den Turing-Test bestehen. Menschliche Teilnehmer waren nur in weniger als 50 Prozent der Fälle in der Lage, von Yuan 1.0 erstellte Dialoge, Romanfortsetzungen, Nachrichtenartikel, Gedichte und Couplets von den von Menschen erstellten Inhalten zu unterscheiden.

Optimierungen

Die herausragende Leistung und die hochentwickelten NLG-Funktionen von Yuan 1.0 sind das Ergebnis zahlreicher Optimierungen in drei wichtigen Bereichen: Modellarchitektur, Ergebniskalibrierung und Datensatzerstellung.

• Modellarchitektur: Die umfangreiche dezentrale Lernsystem in Yuan 1.0 kombiniert drei verschiedene Strategien: Tensor-, Pipeline- und Datenparallelität.
• Ergebniskalibrierung: Inspur AI Research hat festgestellt, dass es beim kontextbezogenen Lernen eine Verzerrung in Richtung Vorlagensätze und -bezeichnungen gibt. Diese Verzerrung rührt hauptsächlich von Verteilungsungleichgewichten im Datensatz her zwischen Klassen, Beispielen mit einer bestimmten Reihenfolge und Bezeichnungen mit unterschiedlicher Häufigkeit im Lernkorpus.
• Datensatzerstellung: Eine zweistufige Kalibrierungsmethode für das kontextbezogene Lernen wurde entwickelt: eine Kalibrierung der Wahrscheinlichkeitsberechnung und eine Erweiterung der Labels.

Fazit

Yuan 1.0 ist ein leistungsfähiges Sprachmodell, das sich durch seine beeindruckende Leistung und seine hochentwickelten NLG-Funktionen auszeichnet. Es ist in der Lage, Sprachinhalte zu generieren, die oft nicht von menschlich generierten Inhalten zu unterscheiden sind. Die Optimierungen in der Modellarchitektur, Ergebniskalibrierung und Datensatzerstellung haben zu einer sichtbaren Verbesserung der Lerngenauigkeit im Laufe der Zeit geführt.