Musikgenerierung

# Asynchrones Verhalten

Sitzungsgestützte Musikgenerierung läuft als Hintergrundaufgabe:

• Hintergrundaufgabe: music_generate erstellt eine Hintergrundaufgabe, gibt sofort eine Gestartet-/Aufgabenantwort zurück und veröffentlicht den fertigen Track später in einer nachfolgenden Agentennachricht.
• Duplikatvermeidung: Solange eine Aufgabe queued oder running ist, geben spätere music_generate-Aufrufe in derselben Sitzung den Aufgabenstatus zurück, statt eine weitere Generierung zu starten. Verwenden Sie action: "status", um dies ausdrücklich zu prüfen.
• Statusabfrage: openclaw tasks list oder openclaw tasks show <taskId> prüft Status für Warteschlange, laufende Aufgaben und Endzustände.
• Abschluss-Wecken: OpenClaw injiziert ein internes Abschlussereignis zurück in dieselbe Sitzung, damit das Modell die benutzerseitige Folgenachricht selbst schreiben kann.
• Prompt-Hinweis: Spätere Benutzer-/manuelle Turns in derselben Sitzung erhalten einen kleinen Laufzeithinweis, wenn bereits eine Musikaufgabe läuft, damit das Modell music_generate nicht blind erneut aufruft.
• Fallback ohne Sitzung: Direkte/lokale Kontexte ohne echte Agentensitzung laufen inline und geben das finale Audioergebnis im selben Turn zurück.

# Aufgabenlebenszyklus

Status über die CLI prüfen:

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

# Konfiguration

# Modellauswahl

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

# Provider-Auswahlreihenfolge

OpenClaw versucht Provider in dieser Reihenfolge:

1. model-Parameter aus dem Tool-Aufruf (wenn der Agent einen angibt).
2. musicGenerationModel.primary aus der Konfiguration.
3. musicGenerationModel.fallbacks der Reihe nach.
4. Automatische Erkennung ausschließlich anhand authentifizierungsgestützter Provider-Standards:
   • aktueller Standard-Provider zuerst;
   • verbleibende registrierte Musikgenerierungs-Provider in Provider-ID-Reihenfolge.

Wenn ein Provider fehlschlägt, wird der nächste Kandidat automatisch versucht. Wenn alle fehlschlagen, enthält der Fehler Details zu jedem Versuch.

Setzen Sie agents.defaults.mediaGenerationAutoProviderFallback: false, um nur explizite Einträge für model, primary und fallbacks zu verwenden.

# Provider-Hinweise

# Den richtigen Pfad wählen

• Gemeinsam, Provider-gestützt, wenn Sie Modellauswahl, Provider-Failover und den integrierten asynchronen Aufgaben-/Statusablauf wünschen.
• Plugin-Pfad (ComfyUI), wenn Sie einen benutzerdefinierten Workflow-Graphen oder einen Provider benötigen, der nicht Teil der gemeinsamen gebündelten Musikfunktion ist.

Wenn Sie ComfyUI-spezifisches Verhalten debuggen, siehe ComfyUI. Wenn Sie gemeinsames Provider-Verhalten debuggen, beginnen Sie mit Google (Gemini) oder MiniMax.

# Provider-Fähigkeitsmodi

Der gemeinsame Musikgenerierungsvertrag unterstützt explizite Modusdeklarationen:

• generate für reine Prompt-Generierung.
• edit, wenn die Anfrage ein oder mehrere Referenzbilder enthält.

Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

Legacy-Flachfelder wie maxInputImages, supportsLyrics und supportsFormat reichen nicht aus, um Bearbeitungsunterstützung anzukündigen. Provider sollten generate und edit explizit deklarieren, damit Live-Tests, Vertragstests und das gemeinsame music_generate-Tool Modusunterstützung deterministisch validieren können.

# Live-Tests

Optionale Live-Abdeckung für die gemeinsamen gebündelten Provider:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Repo-Wrapper:

pnpm test:live:media music

Diese Live-Datei lädt fehlende Provider-Umgebungsvariablen aus ~/.profile, bevorzugt standardmäßig Live-/Umgebungs-API-Schlüssel vor gespeicherten Authentifizierungsprofilen und führt sowohl generate als auch deklarierte edit-Abdeckung aus, wenn der Provider den Bearbeitungsmodus aktiviert. Abdeckung heute:

• google: generate plus edit
• minimax: nur generate
• comfy: separate Comfy-Live-Abdeckung, nicht der gemeinsame Provider-Sweep

Optionale Live-Abdeckung für den mitgelieferten ComfyUI-Musikpfad:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Die Comfy-Live-Datei deckt auch comfy-Bild- und Videoworkflows ab, wenn diese Abschnitte konfiguriert sind.

# Verwandte Themen

• Hintergrundaufgaben — Aufgabenverfolgung für abgekoppelte music_generate-Ausführungen
• ComfyUI
• Konfigurationsreferenz — musicGenerationModel-Konfiguration
• Google (Gemini)
• MiniMax
• Modelle — Modellkonfiguration und Failover
• Tools-Übersicht