Das ist mir auch aufgefallen, umso länger und akkurater die Beschreibung, umso schwieriger das gewünschte Ergebnis zu erhalten.
Ich glaube, wenn er nix mit 'nem Prompt anfangen kann, dann wird gewürfelt. Man muss ja nur "Test" eingeben, dann kommt immer auch bei jedem Seed an völlig anderes Motiv.
Stimmt Anfänglich sprang er immer zwischen Burger und Schlafzimmer, was wollte ComfyUI mir damit wohl sagen? Danach hatte ich 'nen Lora dazwischen gehauen und gerade das letzte sah schon interessant aus, sicher Dune Material mit drin gewessen.
Die Modelle, die wir verwenden, sind Diffusions-Modelle. Dabei wird aus einem 'zufälligen' Rauschen (-Seed) durch Entrauschungsfilter ein Bild generiert. Das Entrauschen macht der Sampler in Kombination mit dem Scheduler. Wie das KI-Modell zu entrauschen hat, damit das gewünschte Bild entsteht, lernt es beim Training. Hier wird ein Bild in mehreren Schritten so lange verrauscht, bis nur noch 'zufälliges' Rauschen vorhanden ist. Den Weg dorthin merkt sich das Modell und beim Entrauschen 'filtert es die Elemente' aus dem Bild die davor hinzugefügt wurden. Somit beeinflusst das zufällige Rauschen; also das Seed; mehr oder weniger das Endergebnis. Gibt man jetzt keinen Prompt an (oder einer den das MOdell nicht kennt), wird vermutlich irgendein zufälliger Entrauschungsweg gewählt.
Vielleicht ist das der Grund, warum man manchmal mit einem einzigen Wort seine ganze, bisher funktionierende, Generierungskette sprengen kann. Da wird nichts erkannt und dann ein völlig anderer Kontext in die Szene hineininterpretiert... :-/ Interessanterweise können KIs wohl auch selbst nicht in gleicher Sprache sprechen. Denn ChatGPT zu bitten, einen für ComfyUI passenden Prompt zu generieren, geht auch meistens schief. Fragt man z.B. nach einer schönen Naturstimmung im Wald, kommen Tapeten von Prompt-Beschreibungen, auf's Kieselsteinchen genau und das Modell über ComfyUI scheint sich nur zu denken: "WTF? Ich mach halt mal was mit P0rn...!"
Bedenke, dass ComfyUI nur ein UI und kein KI Modell ist. Du musst ChatGPT nach einem Prompt für Stable Diffusion (oder FLux) fragen!
Ja schon...aber zumindest weiß ChatGPT was ComfyUI ist und sagt mir stets brav, dass er die Prompts so anfertigt, dass ich sie dort nutzen kann. Er kennt ja auch die Gewichtung etc. Aber okay...wir wissen ja, das ChatGPT gern sagt, er macht etwas und in der Realität wird's was ganz anderes!
