Clip Interrogator

Der Clip Interrogator ist ein Tool für Prompt-Engineering, das kombiniert OpenAI's CLIP und Salesforce's BLIP, um Text-Prompts zu optimieren, die einem gegebenen Bild entsprechen. Dieses Tool ermöglicht es, die resultierenden Prompts mit Text-zu-Bild-Modellen wie Stable Diffusion auf DreamStudio zu verwenden, um coole Kunstwerke zu erstellen.

Funktionen

Der Clip Interrogator bietet eine Vielzahl von Funktionen, um die Optimierung von Text-Prompts zu erleichtern. Dazu gehören:

• Die Verwendung von OpenCLIP, das viele verschiedene vortrainierte CLIP-Modelle unterstützt
• Die Konfiguration von CLIP Interrogator's Verarbeitung durch die Config-Objekt
• Die Möglichkeit, die resultierenden Prompts mit Text-zu-Bild-Modellen wie Stable Diffusion auf DreamStudio zu verwenden

Verwendung

Um den Clip Interrogator zu verwenden, müssen Sie zunächst eine Python-Virtual-Umgebung erstellen und aktivieren. Anschließend können Sie das Tool mit PIP installieren und in Ihrem Skript verwenden.

Beispielcode

python from PIL import Image from clip_interrogator import Config, Interrogator image = Image.open(image_path).convert('RGB') ci = Interrogator(Config(clip_model_name="ViT-L-14/openai")) print(ci.interrogate(image))

Konfiguration

Die Config-Objekt ermöglicht es, die Verarbeitung von CLIP Interrogator zu konfigurieren. Dazu gehören:

• clip_model_name: Welches der vortrainierten CLIP-Modelle von OpenCLIP verwendet werden soll
• cache_path: Der Pfad, an dem die vorberechneten Text-Embeddings gespeichert werden sollen
• download_cache: Wenn True, werden die vorberechneten Embeddings von HuggingFace heruntergeladen
• chunk_size: Die Batch-Größe für CLIP, die für Systeme mit niedrigem VRAM reduziert werden kann
• quiet: Wenn True, werden keine Fortschrittsbalken oder Text-Ausgaben angezeigt

Versionen

Der Clip Interrogator ist in verschiedenen Versionen verfügbar, darunter Version 1 und Version 2. Version 2 ist jetzt als Stable Diffusion Web UI Extension verfügbar.

Community

Der Clip Interrogator hat eine aktive Community mit 565 Mitgliedern und 422 Forks auf GitHub. Es gibt auch eine Vielzahl von Beispielen und Anleitungen, um die Verwendung des Tools zu erleichtern.

Lizenz

Der Clip Interrogator wird unter der MIT-Lizenz veröffentlicht.