NLP-Cube

NLP-Cube ist ein Open-Source-Framework für die Verarbeitung natürlicher Sprache, das eine Vielzahl von Funktionen für die Sprachverarbeitung bietet. Das Framework unterstützt mehr als 50 Sprachen und bietet Funktionen wie Satzsegmentierung, Tokenisierung, Lemmatisierung, Part-of-Speech-Tagging, Abhängigkeitsanalyse und Named Entity Recognition.

Installation und Verwendung

NLP-Cube kann einfach über pip installiert werden:

pip3 install -U nlpcube

Nach der Installation kann NLP-Cube programmatisch in Python verwendet werden. Ein Beispiel dafür ist die Verwendung des Cube-Objekts:

python from cube.api import Cube cube = Cube(verbose=True) cube.load("en", device='cpu') text = "This is the text I want segmented, tokenized, lemmatized and annotated with POS and dependencies." document = cube(text)

Das document-Objekt enthält dann die annotierten Daten, die Sentence für Sentence aufgerufen werden können.

Funktionen

NLP-Cube bietet eine Vielzahl von Funktionen für die Sprachverarbeitung, darunter:

• Satzsegmentierung
• Tokenisierung
• Lemmatisierung
• Part-of-Speech-Tagging
• Abhängigkeitsanalyse
• Named Entity Recognition

Das Framework ist vollständig kompatibel mit dem Universal Dependencies CONLLU-Format und bietet die Möglichkeit, eigene Modelle und Algorithmen zu integrieren.

Roadmap

Die Entwickler von NLP-Cube arbeiten derzeit an verschiedenen Aufgaben, darunter:

• Die Erstellung von vortrainierten Modellen für alle Sprachen, die im Universal Dependencies-Korpus enthalten sind
• Die Bereitstellung von NLP-Cube als Standard-PIP-Paket
• Die Teilnahme am CONLL-Shared-Task-Initiative

Beiträge

Es gibt verschiedene Möglichkeiten, zu NLP-Cube beizutragen, darunter:

• Das Testen von NLP-Cube und die Meldung von Fehlern
• Die Benachrichtigung über state-of-the-art-Methoden und Ergebnisse über den GIT-Issue-Tracker
• Das Trainieren neuer Modelle und die Bereitstellung für alle

Zitation

Wenn Sie NLP-Cube in Ihrer Forschung verwenden, bitten wir um eine Zitation des folgenden Papers:

NLP-Cube: End-to-End Raw Text Processing With Neural Networks, Boroș, Tiberiu and Dumitrescu, Stefan Daniel and Burtica, Ruxandra, Proceedings of the CoNLL 2018 Shared Task: Multilingual Parsing from Raw Text to Universal Dependencies, Association for Computational Linguistics. p. 171--179. Oktober 2018