Text Generation WebUI

Das Text Generation WebUI ist eine Gradio-basierte Schnittstelle für Large Language Models wie LLaMA, llama.cpp, GPT-J, Pythia, OPT und GALACTICA. Es bietet eine benutzerfreundliche Oberfläche, um mit diesen Modellen zu interagieren und Text zu generieren.

Funktionen

• 3 Interface-Modi: Default (zwei Spalten), Notebook und Chat
• Mehrere Model-Backends: Transformers, llama.cpp (über llama-cpp-python), ExLlamaV2, AutoGPTQ, AutoAWQ, GPTQ-for-LLaMa, QuIP#
• Dropdown-Menü für schnelles Wechseln zwischen verschiedenen Modellen
• Große Anzahl von Erweiterungen (eingebaut und benutzerdefiniert), einschließlich Coqui TTS für realistische Sprachausgaben, Whisper STT für Spracheingaben, Übersetzung, multimodale Pipelines, Vektordatenbanken, Stable Diffusion-Integration und vielem mehr
• Chat mit benutzerdefinierten Charakteren
• Präzise Chat-Vorlagen für instruktionsbasierte Modelle, einschließlich Llama-2-chat, Alpaca, Vicuna, Mistral
• LoRA: Trainiere neue LoRAs mit eigenen Daten, lade/entlade LoRAs auf Abruf für die Generierung
• Transformers-Bibliotheksintegration: Lade Modelle in 4-Bit- oder 8-Bit-Genauigkeit durch bitsandbytes, verwende llama.cpp mit transformers-Samplern (llamacpp_HF-Loader), CPU-Inferenz in 32-Bit-Genauigkeit mit PyTorch
• OpenAI-kompatibler API-Server mit Chat- und Completions-Endpunkten

Installation

• Klone oder lade das Repository herunter
• Führe das start_-Skript aus, je nach Betriebssystem
• Wähle deinen GPU-Hersteller, wenn du dazu aufgefordert wirst
• Öffne nach Abschluss der Installation http://localhost:7860/?__theme=dark im Browser

Erweiterungen

Das Text Generation WebUI bietet eine Vielzahl von Erweiterungen, die von der Community entwickelt wurden. Einige Beispiele sind:

• long_term_memory: Eine Erweiterung, die ein Langzeitgedächtnis für Bots im Chat-Modus erstellt
• AllTalk TTS: Eine Erweiterung, die auf dem Coqui-TTS-Engine basiert und eine Vielzahl von erweiterten Funktionen bietet
• EdgeGPT: Eine Erweiterung, die EdgeGPT von acheong08 verwendet, um einen schnellen Internetzugriff für deinen Bot bereitzustellen
• XTTSv2: Eine Variante der coqui_tts-Erweiterung im Hauptrepository
• Playground for Writers: Eine Erweiterung, die ein unabhängiges, erweitertes Notebook bereitstellt
• complex_memory: Eine Erweiterung, die ein KoboldAI-ähnliches Gedächtnis bereitstellt
• telegram_bot: Eine Erweiterung, die eine cai-chat-ähnliche Telegram-Bot-Schnittstelle bereitstellt
• Memoir+: Eine Erweiterung, die eine Persona-Erweiterung für Text Gen Web UI bereitstellt
• LLM_Web_search: Eine Erweiterung, die deinem lokalen LLM die Fähigkeit gibt, im Web zu suchen

Weitere Informationen

Für weitere Informationen über das Text Generation WebUI, seine Funktionen und Erweiterungen, besuche die offizielle GitHub-Seite und das Wiki.