Muziekgeneratie

# Asynchroon gedrag

Sessieondersteunde muziekgeneratie draait als achtergrondtaak:

• Achtergrondtaak: music_generate maakt een achtergrondtaak aan, geeft onmiddellijk een gestart-/taakantwoord terug en plaatst de afgewerkte track later in een vervolgbericht van de agent.
• Voorkomen van duplicaten: zolang een taak queued of running is, geven latere music_generate-aanroepen in dezelfde sessie de taakstatus terug in plaats van een nieuwe generatie te starten. Gebruik action: "status" om dit expliciet te controleren.
• Status opzoeken: openclaw tasks list of openclaw tasks show <taskId> inspecteert statussen in de wachtrij, actief en terminaal.
• Voltooiingswake: OpenClaw injecteert een interne voltooiingsgebeurtenis terug in dezelfde sessie, zodat het model zelf het gebruikersgerichte vervolgbericht kan schrijven.
• Prompthint: latere gebruikers-/handmatige beurten in dezelfde sessie krijgen een kleine runtime-hint wanneer er al een muziektaak actief is, zodat het model music_generate niet blind opnieuw aanroept.
• Fallback zonder sessie: directe/lokale contexten zonder echte agentsessie draaien inline en geven het uiteindelijke audioresultaat in dezelfde beurt terug.

# Taaklevenscyclus

Controleer de status via de CLI:

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

# Configuratie

# Modelselectie

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

# Volgorde voor providerselectie

OpenClaw probeert providers in deze volgorde:

1. model-parameter uit de hulpmiddelaanroep (als de agent er een opgeeft).
2. musicGenerationModel.primary uit de configuratie.
3. musicGenerationModel.fallbacks op volgorde.
4. Automatische detectie met alleen authenticatieondersteunde providerstandaarden:
   • huidige standaardprovider eerst;
   • resterende geregistreerde providers voor muziekgeneratie op provider-id-volgorde.

Als een provider faalt, wordt de volgende kandidaat automatisch geprobeerd. Als ze allemaal falen, bevat de fout details van elke poging.

Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen expliciete model-, primary- en fallbacks-items te gebruiken.

# Providernotities

# Het juiste pad kiezen

• Gedeeld, met providerondersteuning wanneer je modelselectie, providerfailover en de ingebouwde asynchrone taak-/statusflow wilt.
• Plugin-pad (ComfyUI) wanneer je een aangepaste workflowgraaf nodig hebt of een provider die geen deel uitmaakt van de gedeelde gebundelde muziekcapaciteit.

Als je ComfyUI-specifiek gedrag debugt, zie ComfyUI. Als je gedeeld providergedrag debugt, begin dan met Google (Gemini) of MiniMax.

# Provider-capaciteitsmodi

Het gedeelde contract voor muziekgeneratie ondersteunt expliciete modusdeclaraties:

• generate voor generatie met alleen een prompt.
• edit wanneer het verzoek een of meer referentieafbeeldingen bevat.

Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

Verouderde platte velden zoals maxInputImages, supportsLyrics en supportsFormat zijn niet genoeg om bewerkingsondersteuning aan te geven. Providers moeten generate en edit expliciet declareren, zodat live tests, contracttests en het gedeelde music_generate-hulpmiddel modusondersteuning deterministisch kunnen valideren.

# Live tests

Opt-in live-dekking voor de gedeelde gebundelde providers:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Repo-wrapper:

pnpm test:live:media music

Dit live-bestand laadt ontbrekende provideromgevingsvariabelen uit ~/.profile, geeft standaard de voorkeur aan live-/env-API-sleutels boven opgeslagen authenticatieprofielen en voert zowel generate-dekking als gedeclareerde edit-dekking uit wanneer de provider de bewerkingsmodus inschakelt. Dekking vandaag:

• google: generate plus edit
• minimax: alleen generate
• comfy: afzonderlijke Comfy-live-dekking, niet de gedeelde providercontrole

Optionele live-dekking voor het gebundelde ComfyUI-muziekpad:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Het Comfy-livebestand behandelt ook Comfy-workflows voor afbeeldingen en video's wanneer die secties zijn geconfigureerd.

# Gerelateerd

• Achtergrondtaken — taaktracering voor losgekoppelde music_generate-runs
• ComfyUI
• Configuratiereferentie — musicGenerationModel-configuratie
• Google (Gemini)
• MiniMax
• Modellen — modelconfiguratie en failover
• Toolsoverzicht