nanoGPT

nanoGPT ist ein Open-Source-Projekt, das es ermöglicht, mittelgroße Generative Pre-trained Transformer (GPT)-Modelle zu trainieren und zu feintunen. Das Repository bietet eine einfache und leistungsfähige Implementierung von GPT-Modellen in PyTorch.

Funktionen

• Definiert die GPT-Modellarchitektur in model.py, einschließlich Selbst-Aufmerksamkeit, MLP-Schichten, Einbettungen und Sampling-Logik.
• Unterstützt verteilter Multi-GPU-Training von GPT-Modellen in train.py, mit Optimierungstechniken wie gemischter Genauigkeit und Gradienten-Akkumulation.
• Bietet Tools für das Sampling von Text-Fortsetzungen von trainierten GPT-Modellen in sample.py.
• Enthält Daten-Vorverarbeitungsskripte in data für Datensätze wie OpenWebText und Shakespeare.
• Enthält Konfigurationsdateien in config für die Einstellung von Hyperparametern und die Steuerung von Training, Evaluierung und Inferenz.

Anforderungen

• PyTorch <3
• NumPy <3
• Transformers für Hugging Face Transformers <3 (zum Laden von GPT-2-Checkpoint)
• Datasets für Hugging Face Datasets <3 (wenn Sie OpenWebText herunterladen und vorverarbeiten möchten)
• Tiktoken für OpenAI's schnellen BPE-Code <3
• Wandb für optionale Protokollierung <3
• Tqdm für Fortschrittsbalken <3

Quick Start

Um schnell loszulegen, können Sie ein character-basiertes GPT auf den Werken Shakespeares trainieren. Zunächst laden Sie die Daten herunter und konvertieren sie in eine große Stream von ganzen Zahlen. Dann können Sie das Modell trainieren und Sampling durchführen.

Lizenz

nanoGPT wird unter der MIT-Lizenz veröffentlicht.

Weitere Informationen

Weitere Informationen zu nanoGPT finden Sie in den Dokumenten und im Repository selbst.