Dolly

Dolly ist ein großes KI-Sprachmodell, das von Databricks entwickelt wurde und unter einer Open-Source-Lizenz verfügbar ist. Das Modell ist auf die Interaktion mit Menschen ausgelegt und kann Textanweisungen befolgen. Dolly ist ein Klon des quelloffenen KI-Modells Pythia-12B von EleutherAI und wurde auf einem von Databricks-Mitarbeitern selbst erstellten Datensatz feinjustiert.

Merkmale

• 12 Milliarden Parameter großes Modell
• Instruction-following, d.h. es kann Textanweisungen befolgen
• Feinjustiert auf einem von Databricks-Mitarbeitern selbst erstellten Datensatz "databricks-dolly-15k"
• Unter der Lizenz Creative Commons Attribution ShareAlike 3.0 verfügbar
• Frei verfügbar für kommerzielle Zwecke und Anwendungen

Datensatz

Der Datensatz "databricks-dolly-15k" wurde von über 5.000 Databricks-Mitarbeitern zwischen März und April 2023 erstellt. Es handelt sich um den ersten von Menschen erstellten Anweisungs-Datensatz für das Training großer Sprachmodelle.

Vorteile

• Frei verfügbar für kommerzielle Zwecke und Anwendungen
• Keine Gebühren für einen API-Zugang
• Nutzerdaten werden nicht mit Dritten geteilt
• Jegliche Organisation kann damit ihre eigenen Large Language Models (LLM) erstellen und für eigene Zwecke anpassen

Limitationen

• Dolly 2.0 ist nicht ein state-of-the-art-Modell und wird nicht mit moderneren Modellen konkurrieren können
• Das Modell hat Schwierigkeiten mit syntaktisch komplexen Anweisungen, Programmierproblemen, mathematischen Operationen, faktischen Fehlern, Daten und Uhrzeiten, offenen Fragen und Halluzinationen

Verfügbarkeit

Dolly 2.0 ist auf Hugging Face als databricks/dolly-v2-12b verfügbar. Der Code, die Gewichte und der Datensatz sind Open Source und können von jeder Organisation für eigene Zwecke genutzt werden.