Generowanie muzyki

# Zachowanie asynchroniczne

Generowanie muzyki oparte na sesji działa jako zadanie w tle:

• Zadanie w tle: music_generate tworzy zadanie w tle, natychmiast zwraca odpowiedź rozpoczęcia/zadania i publikuje ukończony utwór później w kolejnej wiadomości agenta.
• Zapobieganie duplikatom: gdy zadanie ma stan queued albo running, późniejsze wywołania music_generate w tej samej sesji zwracają status zadania zamiast rozpoczynać kolejne generowanie. Użyj action: "status", aby sprawdzić to jawnie.
• Wyszukiwanie statusu: openclaw tasks list albo openclaw tasks show <taskId> sprawdza status kolejki, działania i stany końcowe.
• Wybudzenie po ukończeniu: OpenClaw wstrzykuje wewnętrzne zdarzenie ukończenia z powrotem do tej samej sesji, aby model mógł samodzielnie napisać widoczną dla użytkownika odpowiedź uzupełniającą.
• Wskazówka promptu: późniejsze tury użytkownika/ręczne w tej samej sesji otrzymują małą wskazówkę czasu działania, gdy zadanie muzyczne jest już w toku, aby model nie wywoływał ślepo music_generate ponownie.
• Awaryjne działanie bez sesji: bezpośrednie/lokalne konteksty bez rzeczywistej sesji agenta działają w wątku i zwracają końcowy wynik audio w tej samej turze.

# Cykl życia zadania

Sprawdź status z CLI:

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

# Konfiguracja

# Wybór modelu

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

# Kolejność wyboru dostawcy

OpenClaw próbuje dostawców w tej kolejności:

1. Parametr model z wywołania narzędzia (jeśli agent go określi).
2. musicGenerationModel.primary z konfiguracji.
3. musicGenerationModel.fallbacks w kolejności.
4. Automatyczne wykrywanie wyłącznie przy użyciu domyślnych dostawców z uwierzytelnianiem:
   • najpierw bieżący domyślny dostawca;
   • pozostali zarejestrowani dostawcy generowania muzyki w kolejności identyfikatorów dostawców.

Jeśli dostawca zawiedzie, następny kandydat jest wypróbowywany automatycznie. Jeśli wszyscy zawiodą, błąd zawiera szczegóły każdej próby.

Ustaw agents.defaults.mediaGenerationAutoProviderFallback: false, aby używać tylko jawnych wpisów model, primary i fallbacks.

# Uwagi o dostawcach

# Wybór właściwej ścieżki

• Wspólny z zapleczem dostawcy, gdy potrzebujesz wyboru modelu, przełączania awaryjnego dostawcy oraz wbudowanego asynchronicznego przepływu zadań/statusu.
• Ścieżka Plugin (ComfyUI), gdy potrzebujesz niestandardowego grafu przepływu pracy albo dostawcy, który nie jest częścią wspólnej dołączonej funkcji muzycznej.

Jeśli debugujesz zachowanie specyficzne dla ComfyUI, zobacz ComfyUI. Jeśli debugujesz wspólne zachowanie dostawców, zacznij od Google (Gemini) albo MiniMax.

# Tryby możliwości dostawcy

Wspólny kontrakt generowania muzyki obsługuje jawne deklaracje trybu:

• generate dla generowania wyłącznie z promptu.
• edit, gdy żądanie zawiera co najmniej jeden obraz referencyjny.

Nowe implementacje dostawców powinny preferować jawne bloki trybów:

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

Starsze płaskie pola, takie jak maxInputImages, supportsLyrics i supportsFormat, nie wystarczają do reklamowania obsługi edycji. Dostawcy powinni jawnie deklarować generate i edit, aby testy live, testy kontraktowe oraz wspólne narzędzie music_generate mogły deterministycznie walidować obsługę trybów.

# Testy live

Opcjonalne pokrycie live dla wspólnych dołączonych dostawców:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Wrapper repozytorium:

pnpm test:live:media music

Ten plik live wczytuje brakujące zmienne środowiskowe dostawców z ~/.profile, domyślnie preferuje klucze API live/ze środowiska przed zapisanymi profilami uwierzytelniania i uruchamia zarówno pokrycie generate, jak i zadeklarowane edit, gdy dostawca włącza tryb edycji. Dzisiejsze pokrycie:

• google: generate oraz edit
• minimax: tylko generate
• comfy: osobne pokrycie testami na żywo Comfy, poza wspólnym przeglądem dostawców

Opcjonalne pokrycie testami na żywo dla dołączonej ścieżki muzycznej ComfyUI:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Plik testów na żywo Comfy obejmuje też przepływy pracy obrazów i wideo Comfy, gdy te sekcje są skonfigurowane.

# Powiązane

• Zadania w tle — śledzenie zadań dla odłączonych uruchomień music_generate
• ComfyUI
• Dokumentacja referencyjna konfiguracji — konfiguracja musicGenerationModel
• Google (Gemini)
• MiniMax
• Modele — konfiguracja modeli i przełączanie awaryjne
• Przegląd narzędzi