Yandex YaLM

YaLM 100B ist ein GPT-ähnliches neuronales Netzwerk für die Generierung und Verarbeitung von Texten. Es wurde von Yandex entwickelt und steht unter der Apache 2.0-Lizenz frei zur Verfügung für Entwickler und Forscher weltweit.

Das Modell verfügt über 100 Milliarden Parameter und wurde auf einem Cluster von 800 A100-Grafikkarten und 1,7 TB an Online-Texten, Büchern und anderen Quellen in Englisch und Russisch trainiert. Die Trainingsdetails und Best Practices für die Beschleunigung und Stabilisierung finden Sie in Artikeln auf Medium (Englisch) und Habr (Russisch).

YaLM 100B kann auf verschiedenen GPU-Konfigurationen mit etwa 200 GB GPU-Speicher laufen. Es wurde auf 4 (A100 80g) und 8 (V100 32g) GPUs getestet. Um das Modell zu verwenden, müssen Sie zunächst die Gewichte und Vokabular herunterladen und dann die Beispiel-Skripte ausführen.

Das Modell kann für verschiedene Anwendungsfälle eingesetzt werden, wie z.B. die Generierung von Texten, die Klassifizierung von Texten nach Stil und die Unterstützung von Suchmaschinen und Sprachassistenten.

Yandex verwendet YaLM-Neuronale Netzwerke in über 20 Projekten, darunter seine Suchmaschine und den Sprachassistenten Alice. Durch die Veröffentlichung von YaLM 100B unter einer offenen Lizenz möchte Yandex die Entwicklung generativer neuronaler Netzwerke fördern und allen Forschern und Entwicklern Zugang zu modernen Technologien bieten.

Lizenz

YaLM 100B steht unter der Apache 2.0-Lizenz, die sowohl Forschung als auch kommerzielle Nutzung erlaubt.

Verwendung

Um YaLM 100B zu verwenden, müssen Sie zunächst die Gewichte und Vokabular herunterladen und dann die Beispiel-Skripte ausführen. Es gibt vier Beispiel-Skripte:

• generate_interactive.sh: Interaktive Textgenerierung von der Kommandozeile
• generate_conditional_sampling.sh: Konditionale Textgenerierung mit Sampling-Strategie
• generate_conditional_greedy.sh: Konditionale Textgenerierung mit greedy-Strategie
• generate_unconditional.sh: Unkonditionale Textgenerierung

Weitere Informationen

Weitere Informationen über YaLM 100B finden Sie auf der offiziellen GitHub-Seite von Yandex.