GPT-Neo

GPT-Neo ist eine Serie von großen Sprachmodellen, die von EleutherAI entwickelt wurden. Es handelt sich um die erste Versuch, Sprachmodelle wie GPT-3 zu erstellen, und es gibt Varianten mit 125M, 1.3B und 2.7B Parametern.

Funktionen

GPT-Neo bietet neben den Funktionen von GPT-3 auch einige weitere:

• Lokale Aufmerksamkeit
• Lineare Aufmerksamkeit
• Mixture of Experts
• Axiale Positionsembettung

Vorgefertigte Modelle

Es gibt zwei vorgefertigte GPT-Neo-Modelle, die auf The Pile trainiert wurden. Die Gewichte und Konfigurationen können kostenlos von the-eye.eu heruntergeladen werden.

• 1.3B: https://mystic.the-eye.eu/public/AI/gptneo-release/GPT3_XL/
• 2.7B: https://mystic.the-eye.eu/public/AI/gptneo-release/GPT3_2-7B/

Modellbewertungen

Die Modelle wurden auf verschiedenen Datensätzen evaluiert, darunter Linguistic Reasoning, Physical and Scientific Reasoning.

Einrichtung

Um GPT-Neo zu verwenden, müssen Sie zunächst das Repository klonen und die erforderlichen Pakete installieren.

git clone https://github.com/EleutherAI/GPTNeo cd GPTNeo pip3 install -r requirements.txt

Training

Das Training kann auf TPUs oder GPUs durchgeführt werden.

Weitere Informationen finden Sie in der README-Datei des Repositorys.