ComfyUI nutzen: Workflows, Modelle und Einrichtung

ComfyUI ist eine kostenlose Anwendung zur lokalen Erstellung von KI-Bildern und -Videos auf Ihrem eigenen Computer. Sie richtet sich an Benutzer, die mehr Kontrolle wünschen als es typische „Prompt-and-Generate“-Werkzeuge bieten, indem sie jeden Teil des Generierungsprozesses einsehen und anpassen können. Diese Flexibilität bringt eine Lernkurve mit sich. Dieser Leitfaden hilft Ihnen beim Einstieg, von der Installation über das Ausführen bis hin zur Anpassung Ihres ersten Workflows.

Voraussetzungen für den Start

ComfyUI erfordert einen Computer mit ausreichend GPU-Ressourcen für die Modelle und Workflows, die Sie ausführen möchten. Größere Modelle und anspruchsvollere Workflows benötigen in der Regel mehr VRAM.

Zusätzlich benötigen Sie die Modelldateien, die von Ihrem Workflow verwendet werden. Je nach Modell können dies Checkpoints, Diffusionsmodelle, VAEs, Text-Encoder, LoRAs oder andere Komponenten sein. Diese Dateien werden normalerweise im Verzeichnis ComfyUI/models gespeichert.

Falls Sie lokal über keine geeignete GPU verfügen, können Sie ComfyUI auch auf einem entfernten GPU-basierten Desktop ausführen. Dabei wird die Generierungsarbeit auf die entfernte GPU verlagert, während Sie den Desktop von Ihrem normalen Computer aus nutzen.

ComfyUI installieren

Für Windows und macOS empfiehlt ComfyUI neuen Benutzern die Desktop-Anwendung. Es gibt weitere Installationsmethoden, einschließlich der manuellen Installation und des ComfyUI-Befehlzeilenwerkzeugs. Die geeignete Methode hängt von Ihrem Betriebssystem und Ihrer Konfiguration ab.

Nach der Installation von ComfyUI starten Sie die Anwendung und öffnen die Benutzeroberfläche. Sie sehen die Workflow-Leinwand sowie die Werkzeuge zum Erstellen und Verwalten Ihrer Workflows.

Warum ComfyUI-Workflows wichtig sind

Ein ComfyUI-Workflow definiert, wie ein Bild oder Video generiert wird. Er steuert die verwendeten Modelle, Einstellungen und Verarbeitungsschritte zur Erstellung des Endergebnisses.

Dadurch erhalten Sie deutlich mehr Kontrolle als mit einem einfachen Eingabefeld für Prompts. Sie können das Modell wechseln, einen LoRA hinzufügen, ein Eingabebild verwenden, Generierungseinstellungen anpassen, das Ergebnis hochskalieren oder weitere Verarbeitungsschritte hinzufügen.

Workflows können auch gespeichert und wiederverwendet werden. Anstatt jedes Mal dieselbe Einrichtung neu aufzubauen, können Sie einen Workflow beibehalten, der Ihnen gute Ergebnisse liefert, und einzelne Einstellungen bei Bedarf anpassen. Sie können auch Workflows herunterladen, die von anderen Benutzern erstellt wurden, und sie an Ihre eigene Umgebung anpassen.

ComfyUI-Workflows verstehen

Ein Workflow besteht aus verbundenen Knoten (Nodes). Jeder Knoten verarbeitet einen bestimmten Teil des Generierungsprozesses, und die Verbindungen bestimmen, wie Informationen zwischen ihnen übertragen werden.

Ein grundlegender Text-zu-Bild-Workflow enthält möglicherweise Knoten zum Laden eines Modells, Eingeben eines Prompts, Erstellen der initialen Bilddaten, Generieren des Bildes, Entschlüsseln des Ergebnisses und Speichern desselben.

• Model Loader: Lädt das für die Generierung verwendete Modell.
• Text Encoder: Wandelt Ihren Prompt in Informationen um, die das Modell nutzen kann.
• Sampler: Führt den Generierungsprozess mit den gewählten Einstellungen aus.
• VAE: Konvertiert zwischen latenter Daten und einem Bild.
• Save Image: Schreibt das generierte Bild auf die Festplatte.

Sie müssen nicht jeden Workflow von Grund auf aufbauen. ComfyUI bietet Workflow-Vorlagen an, und viele Community-Workflows können direkt heruntergeladen und geöffnet werden.

Einen vorhandenen Workflow laden

Die Verwendung eines vorhandenen Workflows ist meist der einfachste Einstieg. ComfyUI bietet Beispiel-Workflows für verschiedene Modelle und Aufgaben an, und Community-Websites bieten noch viele weitere.

Viele Workflow-Bilder enthalten die Workflow-Daten in ihren Metadaten. Sie können das Bild in ComfyUI ziehen oder Workflows → Öffnen verwenden, um es zu laden. Der Workflow erscheint auf der Leinwand, mit bereits konfigurierten Knoten und Einstellungen.

Wenn der Workflow geladen ist, prüfen Sie, welche Modelle er erwartet. Fehlende Dateien können von ComfyUI für unterstützte Workflow-Vorlagen identifiziert werden. Bei anderen Workflows müssen Sie die Modelle möglicherweise selbst suchen und installieren.

Modelle für ComfyUI finden

Modelle finden Sie auf Repositories wie Hugging Face und Civitai sowie auf der Projektdaeseite des Modells selbst. Wichtig ist es, ein Modell zu finden, das mit dem Workflow kompatibel ist, den Sie verwenden möchten.

Gehen Sie nicht davon aus, dass jede Modelldatei in jeden Workflow geladen werden kann. Unterschiedliche Modellarchitekturen können unterschiedliche Lader und Begleitdateien erfordern.

Prüfen Sie vor dem Herunterladen eines Modells Folgendes:

• Die Modellarchitektur und die Version
• Den erforderlichen ComfyUI-Workflow
• Das Dateiformat des Modells
• Den empfohlenen VRAM-Bedarf und die Hardware
• Alle erforderlichen VAEs, Text-Encoder, LoRAs oder anderen Begleitdateien
• Die Lizenz und Nutzungsbeschränkungen des Modells

ComfyUI unterstützt verschiedene Arten von Modelldateien. Das Zielverzeichnis hängt von der Art des installierten Modells ab. So können Checkpoints in models/checkpoints, LoRAs in models/loras und VAEs in models/vae abgelegt werden. Einige neuere Modelle verwenden Verzeichnisse wie models/diffusion_models und models/text_encoders.

Ein Modell installieren

Legen Sie das heruntergeladene Modell im vom Workflow erwarteten Verzeichnis ab. Sie können es anschließend im entsprechenden Modell-Loader auswählen.

Ein Checkpoint wird beispielsweise gespeichert unter:

ComfyUI/models/checkpoints/

Ein LoRA wird möglicherweise unter folgendem Pfad gespeichert:

ComfyUI/models/loras/

Wenn das neue Modell nicht in der Modellliste erscheint, aktualisieren Sie die Benutzeroberfläche oder starten Sie ComfyUI neu.

Kundenspezifische Knoten installieren

Viele fortgeschrittene ComfyUI-Workflows verwenden kundenspezifische Knoten, die nicht in der Standardinstallation enthalten sind. Ein Workflow kann fehlende Knoten anzeigen, wenn diese Abhängigkeiten nicht installiert wurden.

ComfyUI bietet einen Manager zur Installation kundenspezifischer Knoten. Knoten können auch manuell installiert werden, indem ihre Repositories im Verzeichnis custom_nodes abgelegt und deren erforderliche Abhängigkeiten installiert werden.

Installieren Sie kundenspezifische Knoten nur von vertrauenswürdigen Quellen. Kundenspezifische Knoten können ausführbaren Code enthalten und haben möglicherweise eigene Abhängigkeiten und sicherheitsrelevante Aspekte.

Ihren Workflow ausführen und anpassen

Wenn die erforderlichen Modelle und kundenspezifischen Knoten installiert sind, prüfen Sie die wichtigen Einstellungen im Workflow. Beginnen Sie mit dem Modell, dem Prompt, den Bilddimensionen und den Sampling-Einstellungen.

Wenn alles bereit ist, verwenden Sie die Schaltfläche Queue zum Ausführen des Workflows. ComfyUI verarbeitet jeden Schritt und erzeugt die vom Workflow definierte Ausgabe.

Anschließend können Sie einzelne Teile des Workflows anpassen, ohne ihn neu aufzubauen. Fügen Sie einen LoRA hinzu, verbinden Sie ein Eingabebild, wechseln Sie den Sampler, fügen Sie einen Upscaler hinzu oder passen Sie andere Einstellungen an, um das Ergebnis zu verändern.

Ihre Workflows speichern

Speichern Sie Workflows, die Sie wiederverwenden möchten. Ein Workflow enthält den Knotengraphen und dessen Einstellungen, jedoch nicht notwendigerweise die Modelldateien selbst. Halten Sie fest, welche Modelle und kundenspezifischen Knoten der Workflow benötigt.

Dies wird besonders wichtig, wenn Sie einen Workflow auf einen anderen Computer oder einen Cloud-Desktop übertragen. Möglicherweise müssen Sie dieselben Modelle und kundenspezifischen Knoten installieren, bevor der Workflow korrekt ausgeführt wird.

ComfyUI auf DaDesktop ausprobieren

Sie müssen keine neue GPU kaufen, nur um ComfyUI auszuführen. Wenn Ihr aktueller Computer nicht über ausreichende GPU-Ressourcen verfügt, können Sie ComfyUI stattdessen auf einem Cloud-Desktop ausführen und ihn bei Bedarf nutzen.

DaDesktop bietet Cloud-Desktops mit dedizierten GPU-Ressourcen für Arbeitslasten wie die Generierung von KI-Bildern und -Videos an. Sie können ComfyUI installieren, die gewünschten Modelle herunterladen und Ihre eigenen Workflows erstellen, ohne eine dedizierte GPU an Ihrem lokalen Computer hinzufügen zu müssen.

Erfahren Sie mehr über die Generierung von KI-Bildern und -Videos auf DaDesktop. Sie können auch die verfügbaren GPUs einsehen und eine Konfiguration wählen, die auf den Modellen und Workflows basiert, die Sie ausführen möchten.