Databricks hat kürzlich Dolly vorgestellt, ein großes Sprachmodell (LLM), das für weniger als 30 US-Dollar trainiert wurde und eine menschliche Interaktivität wie ChatGPT aufweist. Heute haben wir Dolly 2.0 veröffentlicht, das erste offene, anweisungsorientierte LLM, das für Forschung und kommerzielle Nutzung lizenziert ist.
Dolly ist ein 12-Milliarden-Parameter-Sprachmodell, das auf der EleutherAI-Pythia-Modellfamilie basiert und exklusiv auf einem neuen, hochwertigen, menschlich generierten Anweisungs-Datensatz trainiert wurde, der unter der Creative-Commons-Attribution-ShareAlike-3.0-Unported-Lizenz steht. Dies bedeutet, dass jede Organisation Dolly verwenden, modifizieren oder erweitern kann, um leistungsfähige LLMs zu erstellen, die mit Menschen sprechen können, ohne API-Zugriff zu benötigen oder Daten mit Dritten zu teilen.
Der Databricks-Dolly-15k-Datensatz enthält 15.000 hochwertige, menschlich generierte Anweisungs-/Antwort-Paare, die speziell für die Anweisungstuning von LLMs entwickelt wurden. Dieser Datensatz ist der erste offene, menschlich generierte Anweisungs-Datensatz, der speziell dafür entwickelt wurde, LLMs eine magische Interaktivität wie ChatGPT zu verleihen.
Wir haben Dolly erstellt, um eine offene, anweisungsorientierte LLM-Lösung anzubieten, die für kommerzielle Nutzung lizenziert ist. Wir wollten eine Alternative zu den bestehenden, proprietären Modellen wie ChatGPT und Alpaca anbieten, die für kommerzielle Nutzung nicht verfügbar sind.
Dolly 2.0 ist ein 12-Milliarden-Parameter-Sprachmodell, das auf der EleutherAI-Pythia-Modellfamilie basiert und exklusiv auf dem Databricks-Dolly-15k-Datensatz trainiert wurde. Der Quellcode, der Datensatz und die Modellgewichte sind auf GitHub verfügbar und stehen unter der Apache-2.0-Lizenz.
Dolly 2.0 ist kein state-of-the-art-Generativmodell und weist bekanntermaßen Schwächen in Bezug auf syntaktisch komplexe Anweisungen, Programmierprobleme, mathematische Operationen, faktische Fehler, Daten und Uhrzeiten, offene Fragebeantwortung, Halluzinationen, Auflistungen von bestimmter Länge, stilistische Nachahmung und Humor auf.
Dolly by Databricks ist ein wichtiger Schritt in Richtung einer Demokratisierung von LLMs, die es Unternehmen ermöglicht, leistungsfähige Sprachmodelle zu erstellen und anzupassen, um ihre Produkte zu verbessern. Wir hoffen, dass Dolly 2.0 die Entwicklung von LLMs vorantreiben wird und Unternehmen dabei hilft, die Vorteile von künstlicher Intelligenz zu nutzen.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.