Providers

ComfyUI

OpenClaw dostarcza wbudowany plugin comfy do uruchamiania ComfyUI sterowanego workflow. Plugin jest w pełni sterowany przez workflow, więc OpenClaw nie próbuje mapować ogólnych ustawień size, aspectRatio, resolution, durationSeconds ani kontrolek w stylu TTS na Twój graf.

Właściwość Szczegóły
Dostawca comfy
Modele comfy/workflow
Współdzielone powierzchnie image_generate, video_generate, music_generate
Auth Brak dla lokalnego ComfyUI; COMFY_API_KEY lub COMFY_CLOUD_API_KEY dla Comfy Cloud
API ComfyUI /prompt / /history / /view oraz Comfy Cloud /api/*

Co jest obsługiwane

  • Generowanie obrazów z workflow JSON
  • Edycja obrazów z 1 przesłanym obrazem referencyjnym
  • Generowanie wideo z workflow JSON
  • Generowanie wideo z 1 przesłanym obrazem referencyjnym
  • Generowanie muzyki lub audio przez współdzielone narzędzie music_generate
  • Pobieranie wyjścia ze skonfigurowanego node albo ze wszystkich pasujących node wyjściowych

Pierwsze kroki

Wybierz między uruchamianiem ComfyUI na własnej maszynie a używaniem Comfy Cloud.

Lokalnie

Najlepsze do: uruchamiania własnej instancji ComfyUI na swojej maszynie lub w sieci LAN.

  • Uruchom ComfyUI lokalnie

    Upewnij się, że lokalna instancja ComfyUI działa (domyślnie pod http://127.0.0.1:8188).

  • Przygotuj workflow JSON

    Wyeksportuj lub utwórz plik workflow JSON ComfyUI. Zanotuj identyfikatory node dla node wejścia promptu i node wyjścia, z którego OpenClaw ma odczytywać dane.

  • Skonfiguruj dostawcę

    Ustaw mode: "local" i wskaż plik workflow. Oto minimalny przykład dla obrazu:

    {
      plugins: {
        entries: {
          comfy: {
            config: {
              mode: "local",
              baseUrl: "http://127.0.0.1:8188",
              image: {
                workflowPath: "./workflows/flux-api.json",
                promptNodeId: "6",
                outputNodeId: "9",
              },
            },
          },
        },
      },
    }
    
  • Ustaw model domyślny

    Skieruj OpenClaw na model comfy/workflow dla skonfigurowanej capability:

    {
      agents: {
        defaults: {
          imageGenerationModel: {
            primary: "comfy/workflow",
          },
        },
      },
    }
    
  • Zweryfikuj

    openclaw models list --provider comfy
    
  • Comfy Cloud

    Najlepsze do: uruchamiania workflow w Comfy Cloud bez zarządzania lokalnymi zasobami GPU.

  • Pobierz klucz API

    Zarejestruj się na comfy.org i wygeneruj klucz API w panelu swojego konta.

  • Ustaw klucz API

    Przekaż klucz jedną z tych metod:

    # Zmienna środowiskowa (zalecane)
    export COMFY_API_KEY="your-key"
    
    # Alternatywna zmienna środowiskowa
    export COMFY_CLOUD_API_KEY="your-key"
    
    # Albo bezpośrednio w konfiguracji
    openclaw config set plugins.entries.comfy.config.apiKey "your-key"
    
  • Przygotuj workflow JSON

    Wyeksportuj lub utwórz plik workflow JSON ComfyUI. Zanotuj identyfikatory node dla node wejścia promptu i node wyjścia.

  • Skonfiguruj dostawcę

    Ustaw mode: "cloud" i wskaż plik workflow:

    {
      plugins: {
        entries: {
          comfy: {
            config: {
              mode: "cloud",
              image: {
                workflowPath: "./workflows/flux-api.json",
                promptNodeId: "6",
                outputNodeId: "9",
              },
            },
          },
        },
      },
    }
    
  • Ustaw model domyślny

    {
      agents: {
        defaults: {
          imageGenerationModel: {
            primary: "comfy/workflow",
          },
        },
      },
    }
    
  • Zweryfikuj

    openclaw models list --provider comfy
    
  • Konfiguracja

    Comfy obsługuje współdzielone ustawienia połączenia najwyższego poziomu oraz sekcje workflow dla poszczególnych capability (image, video, music):

    {
      plugins: {
        entries: {
          comfy: {
            config: {
              mode: "local",
              baseUrl: "http://127.0.0.1:8188",
              image: {
                workflowPath: "./workflows/flux-api.json",
                promptNodeId: "6",
                outputNodeId: "9",
              },
              video: {
                workflowPath: "./workflows/video-api.json",
                promptNodeId: "12",
                outputNodeId: "21",
              },
              music: {
                workflowPath: "./workflows/music-api.json",
                promptNodeId: "3",
                outputNodeId: "18",
              },
            },
          },
        },
      },
    }
    

    Współdzielone klucze

    Klucz Typ Opis
    mode "local" or "cloud" Tryb połączenia.
    baseUrl string Domyślnie http://127.0.0.1:8188 lokalnie lub https://cloud.comfy.org w chmurze.
    apiKey string Opcjonalny klucz w konfiguracji, alternatywa dla zmiennych środowiskowych COMFY_API_KEY / COMFY_CLOUD_API_KEY.
    allowPrivateNetwork boolean Zezwala na prywatny/LAN baseUrl w trybie cloud.

    Klucze dla poszczególnych capability

    Te klucze obowiązują w sekcjach image, video lub music:

    Klucz Wymagane Domyślnie Opis
    workflow or workflowPath Tak -- Ścieżka do pliku workflow JSON ComfyUI.
    promptNodeId Tak -- Identyfikator node, który otrzymuje prompt tekstowy.
    promptInputName Nie "text" Nazwa wejścia w node promptu.
    outputNodeId Nie -- Identyfikator node, z którego odczytywane jest wyjście. Jeśli pominięty, używane są wszystkie pasujące node wyjściowe.
    pollIntervalMs Nie -- Interwał odpytywania w milisekundach dla zakończenia zadania.
    timeoutMs Nie -- Limit czasu w milisekundach dla uruchomienia workflow.

    Sekcje image i video obsługują także:

    Klucz Wymagane Domyślnie Opis
    inputImageNodeId Tak (przy przekazywaniu obrazu referencyjnego) -- Identyfikator node, który otrzymuje przesłany obraz referencyjny.
    inputImageInputName Nie "image" Nazwa wejścia w node obrazu.

    Szczegóły workflow

    Workflow obrazów

    Ustaw domyślny model obrazu na comfy/workflow:

    {
      agents: {
        defaults: {
          imageGenerationModel: {
            primary: "comfy/workflow",
          },
        },
      },
    }
    

    Przykład edycji z obrazem referencyjnym:

    Aby włączyć edycję obrazu z przesłanym obrazem referencyjnym, dodaj inputImageNodeId do konfiguracji obrazu:

    {
      plugins: {
        entries: {
          comfy: {
            config: {
              image: {
                workflowPath: "./workflows/edit-api.json",
                promptNodeId: "6",
                inputImageNodeId: "7",
                inputImageInputName: "image",
                outputNodeId: "9",
              },
            },
          },
        },
      },
    }
    
    Workflow wideo

    Ustaw domyślny model wideo na comfy/workflow:

    {
      agents: {
        defaults: {
          videoGenerationModel: {
            primary: "comfy/workflow",
          },
        },
      },
    }
    

    Workflow wideo Comfy obsługują text-to-video i image-to-video przez skonfigurowany graf.

    Workflow muzyki

    Wbudowany plugin rejestruje dostawcę generowania muzyki dla wyjść audio lub muzyki zdefiniowanych przez workflow, udostępnianych przez współdzielone narzędzie music_generate:

    /tool music_generate prompt="Warm ambient synth loop with soft tape texture"
    

    Użyj sekcji konfiguracji music, aby wskazać workflow JSON audio i node wyjścia.

    Zgodność wsteczna

    Dotychczasowa konfiguracja obrazu najwyższego poziomu (bez zagnieżdżonej sekcji image) nadal działa:

    {
      plugins: {
        entries: {
          comfy: {
            config: {
              workflowPath: "./workflows/flux-api.json",
              promptNodeId: "6",
              outputNodeId: "9",
            },
          },
        },
      },
    }
    

    OpenClaw traktuje ten starszy kształt jako konfigurację workflow obrazu. Nie musisz migrować od razu, ale w nowych konfiguracjach zalecane są zagnieżdżone sekcje image / video / music.

    Testy live

    Dla wbudowanego pluginu istnieje opcjonalny zakres testów live:

    OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
    

    Test live pomija poszczególne przypadki obrazów, wideo lub muzyki, chyba że skonfigurowano odpowiadającą sekcję workflow Comfy.

    Powiązane