DialoGPT ist ein Forschungsprojekt von Microsoft, das sich mit der Entwicklung von Chatbots beschäftigt, die in der Lage sind, natürliche und engagierende Konversationsantworten zu generieren. Das Projekt wurde im November 2019 ins Leben gerufen und hat zum Ziel, eine Grundlage für den Bau von vielseitigen offenen Chatbots zu schaffen, die auf eine Vielzahl von Konversations-Themen, Aufgaben und Informationsanfragen reagieren können.
Das Projekt DialoGPT basiert auf den Erfahrungen mit großen, transformer-basierten Vortrainingsmethoden wie GPT-2 und BERT. Diese Methoden haben sich in anderen Bereichen der natürlichen Sprachverarbeitung als erfolgreich erwiesen und haben die Forscher inspiriert, sie auf die Konversations-AI anzuwenden.
DialoGPT verwendet eine autoregressive (AR) Sprachmodell-Architektur und trainiert auf einer riesigen Menge an colloquialen Textdaten, die aus Reddit-Diskussionsthreads extrahiert wurden. Das Modell wird auf Basis des HuggingFace-PyTorch-Transformers und OpenAI-GPT-2 implementiert.
Die Experimente haben gezeigt, dass DialoGPT eine state-of-the-art-Leistung in Bezug auf automatische Bewertungen (einschließlich Relevanz- und Diversitätsmetriken) erzielt. Die Ergebnisse der Bewertung durch menschliche Richter deuten darauf hin, dass die Antworten von DialoGPT eine menschliche Antwortqualität in einem Single-Turn-Turing-Test erreichen können.
Das DialoGPT-Modell ist auf GitHub verfügbar und enthält ein Daten-Extraktions-Skript, Modell-Trainingscode und Modell-Checkpoint für kleine (117M), mittlere (345M) und große (762M) Modelle.
Das Projekt DialoGPT wird nicht mehr aktiv weiterentwickelt, da es von GODEL abgelöst wurde, das nachweislich bessere Ergebnisse erzielt. Es wird jedoch weiterhin für Reproduktionszwecke unterstützt.
Weitere Informationen über das Projekt DialoGPT finden Sie auf der offiziellen Projektseite von Microsoft und in der zugehörigen ArXiv-Publikation.
* KI-Zusammenfassungen können Fehler enthalten. Alle Angaben ohne Gewähr.