FastChat

FastChat ist eine offene Plattform für das Training, Bereitstellen und Evaluieren von Chatbots auf Basis von Large Language Models (LLMs). Die Plattform bietet eine umfassende Lösung für die Entwicklung und den Einsatz von Chatbots und ermöglicht es Entwicklern, ihre eigenen Modelle zu trainieren und bereitzustellen.

Core Features

FastChat bietet eine Vielzahl von Funktionen, darunter:

• Ein verteilter Multi-Modell-Serving-System mit Web-Benutzeroberfläche und OpenAI-kompatiblen RESTful-APIs
• Trainings- und Evaluierungscode für state-of-the-art-Modelle wie Vicuna und MT-Bench
• Eine umfassende Dokumentation und Beispielcode für die Implementierung von Chatbots

Installation

FastChat kann auf zwei Arten installiert werden:

• Mit pip: pip3 install "fschat[model_worker,webui]"
• Von Quelle: git clone https://github.com/lm-sys/FastChat.git und dann pip3 install -e ".[model_worker,webui]"

Modelle und Gewichte

FastChat unterstützt verschiedene Modelle, darunter Vicuna, LongChat und FastChat-T5. Die Gewichte für diese Modelle können heruntergeladen und verwendet werden, um Chatbots zu trainieren und bereitzustellen.

OpenAI-kompatible APIs

FastChat bietet OpenAI-kompatible APIs für die unterstützten Modelle, so dass Entwickler FastChat als lokalen Ersatz für OpenAI-APIs verwenden können. Die APIs umfassen Chat-Completions, Completions und Embeddings.

RESTful API Server

Der RESTful API Server kann mit den folgenden Befehlen gestartet werden:

• python3 -m fastchat.serve.controller
• python3 -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5
• python3 -m fastchat.serve.openai_api_server --host localhost --port 8000

Beispielanwendungen

FastChat bietet eine Vielzahl von Beispielanwendungen, darunter ein Notebook für die Verwendung von FastChat in Google Colab.

Lizenz

FastChat wird unter der Apache-2.0-Lizenz veröffentlicht.

Weitere Informationen

Weitere Informationen zu FastChat finden Sie in der Dokumentation und auf der FastChat-Website.