Du kannst mit ComfyUI viele verschiedene KI Modelle nutzen. Und jedes KI-Modell hat bei den Prompts seine Eigenheiten. Woher soll ChatGPT also wissen, wie es diese Prompts richtig generieren soll? Nimm bitte StableDiffusion oder Flux für deine Anfrage.
Okay, das wäre ja wirklich mal eine relevante und neue Info für mich, da hätte sich der Kommentar schon gelohnt. Muss man je nach Modell denn tatsächlich so verschieden formulieren? Wie gesagt, die Syntax ist ja gleich (Gewichtung, Kommentierung usw.) und kommt schon durch ComfyUI, wenn ich das richtig verstanden habe. Aber sonst? Mal abgesehen von spezialisierten Loras wie z.B. dieses Jinx-Ding, müssten die Modelle doch die gleiche Sprache sprechen. Falls nicht: Hast du'n Beispiel?
Ja, da gibt es Unterschiede; sogar zwischen Stable Diffusion und Flux (das sind die beiden Modelle, die ich kenne): 2. Latent Encoding Refinement FLUX’s latent encoder applies a wider receptive field in early steps, effectively "understanding" the broader structure of an image before focusing on fine details. In contrast, Stable Diffusion’s encoder focuses earlier on local consistency, sometimes at the expense of global coherence in fewer steps. Use Case Advantage: FLUX excels in projects that demand balanced compositions—architectural renders, photorealistic illustrations, or content requiring spatial accuracy. 3. Gradient Amplification in Cross-Attention FLUX models amplify gradients within cross-attention layers to better handle complex prompt-token relationships. This translates into highly responsive behavior to nuanced prompts, whereas Stable Diffusion may produce “softer” interpretations, requiring more guidance (e.g., ControlNet, embeddings). Key Insight: For projects involving specific prompt-driven outputs, such as branded content or highly thematic storytelling, FLUX provides faster and more accurate alignment with user intent. Quelle: https://www.linkedin.com/pulse/deep...ffusion-technical-insights-marco-somma-4udlf/ Gerade die Gewichtung kann zwischen Modellen sehr unterschiedlich sein. Sollten z.B.: in einem Modell viele Äpfel in den Trainingsdaten enthalten sein, werden vermutlich gerne Äpfel dargestellt; die Gewichtung ist dann 'automatisch' höher.
Auch sehr interessant (hab's aber auch nicht nicht komplett gelesen): https://www.reddit.com/r/FluxAI/comments/1imha0t/flux1_prompt_manual_a_foundational_guide/?tl=de
Ein Beispiel aus dieser Anleitung: Was es bedeutet: Vermeiden Sie die Verwendung von Syntax aus anderen KI-Tools (z. B. Stable Diffusion). FLUX.1 hat seine eigenen Eigenheiten und Vorlieben. Warum es wichtig ist: Die Verwendung falscher Syntax kann FLUX.1 verwirren und zu unerwarteten Ergebnissen führen. Wie man es anwendet: Halten Sie sich an die bevorzugte Syntax von FLUX.1 und vermeiden Sie das Importieren von Syntax aus anderen Tools. Beispiel-Prompt: Vorher: "(beste Qualität, ultradetailliert)." Nachher: "Hochdetailliert und lebendig." Erläuterung: Der überarbeitete Prompt verwendet die bevorzugte Syntax von FLUX.1 und sorgt so für Klarheit und Genauigkeit.
Das macht das Verständnis jetzt nicht gerade einfacher! Vermutlich ist es dann wirklich besser, um ein Gefühl dafür zu bekommen, bei einem Modell zu bleiben, und nicht ständig durch mehrere zu wechseln...
Werden solche Prompts denn gewertet, oder werden diese ungültigen quasi ignoriert, wenn genug dabei sind, womit z.B. Flux etwas anfangen kann? z.B. nutze ich meist folgende für Flux, wäre da einer dabei, den ich lieber rausnehmen sollte?
Da bin ich mir auch nicht sicher; gut möglich, dass die Angabe dieser Anforderungen das Bild verändern. Speziell die von dir angeführten Triggerwörter kenne ich von Stapel Diffusion. Ich würde sie mal weglassen (siehe obige Erklärung). Mittlerweile bin ich extrem promptschreibefaul geworden. Wie ihr eh bereits festgestellt habt, können zu lange Prompts das Ergebnis stark verfälschen. Ich mache daher nur noch sehr einfache Prompts und ergänze durch Nachbearbeitung fehlende oder falsche Teile im Bild.
