Génération de musique

# Comportement asynchrone

La génération musicale adossée à une session s’exécute comme une tâche en arrière-plan :

• Tâche en arrière-plan : music_generate crée une tâche en arrière-plan, renvoie immédiatement une réponse de démarrage/tâche et publie plus tard la piste terminée dans un message de suivi de l’agent.
• Prévention des doublons : tant qu’une tâche est queued ou running, les appels ultérieurs à music_generate dans la même session renvoient l’état de la tâche au lieu de démarrer une autre génération. Utilisez action: "status" pour vérifier explicitement.
• Consultation de l’état : openclaw tasks list ou openclaw tasks show <taskId> inspecte les états en attente, en cours et terminaux.
• Réveil de complétion : OpenClaw injecte un événement de complétion interne dans la même session afin que le modèle puisse écrire lui-même le suivi destiné à l’utilisateur.
• Indication de prompt : les tours utilisateur/manuels ultérieurs dans la même session reçoivent une petite indication d’exécution lorsqu’une tâche musicale est déjà en cours, afin que le modèle n’appelle pas aveuglément music_generate de nouveau.
• Recours sans session : les contextes directs/locaux sans véritable session d’agent s’exécutent en ligne et renvoient le résultat audio final dans le même tour.

# Cycle de vie des tâches

Vérifiez l’état depuis la CLI :

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

# Configuration

# Sélection du modèle

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

# Ordre de sélection des fournisseurs

OpenClaw essaie les fournisseurs dans cet ordre :

1. Paramètre model de l’appel d’outil (si l’agent en spécifie un).
2. musicGenerationModel.primary depuis la configuration.
3. musicGenerationModel.fallbacks dans l’ordre.
4. Détection automatique utilisant uniquement les valeurs par défaut des fournisseurs appuyées par l’authentification :
   • fournisseur par défaut actuel en premier ;
   • autres fournisseurs de génération musicale enregistrés par ordre d’identifiant de fournisseur.

Si un fournisseur échoue, le candidat suivant est essayé automatiquement. Si tous échouent, l’erreur inclut les détails de chaque tentative.

Définissez agents.defaults.mediaGenerationAutoProviderFallback: false pour utiliser uniquement les entrées explicites model, primary et fallbacks.

# Notes sur les fournisseurs

# Choisir le bon chemin

• Appuyé par un fournisseur partagé lorsque vous voulez la sélection de modèle, le basculement entre fournisseurs et le flux asynchrone intégré de tâches/états.
• Chemin Plugin (ComfyUI) lorsque vous avez besoin d’un graphe de workflow personnalisé ou d’un fournisseur qui ne fait pas partie de la capacité musicale partagée fournie.

Si vous déboguez un comportement propre à ComfyUI, consultez ComfyUI. Si vous déboguez le comportement d’un fournisseur partagé, commencez par Google (Gemini) ou MiniMax.

# Modes de capacité des fournisseurs

Le contrat partagé de génération musicale prend en charge les déclarations de mode explicites :

• generate pour la génération à partir d’une invite seule.
• edit lorsque la requête inclut une ou plusieurs images de référence.

Les nouvelles implémentations de fournisseurs doivent préférer les blocs de mode explicites :

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

Les anciens champs plats tels que maxInputImages, supportsLyrics et supportsFormat ne suffisent pas à annoncer la prise en charge de l’édition. Les fournisseurs doivent déclarer generate et edit explicitement afin que les tests live, les tests de contrat et l’outil partagé music_generate puissent valider la prise en charge des modes de manière déterministe.

# Tests live

Couverture live à activation explicite pour les fournisseurs partagés inclus :

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Wrapper du dépôt :

pnpm test:live:media music

Ce fichier live charge les variables d’environnement de fournisseur manquantes depuis ~/.profile, préfère par défaut les clés API live/env aux profils d’authentification stockés, et exécute la couverture generate ainsi que la couverture edit déclarée lorsque le fournisseur active le mode édition. Couverture actuelle :

• google : generate plus edit
• minimax : generate uniquement
• comfy : couverture live Comfy distincte, pas le balayage partagé des fournisseurs

Couverture live facultative pour le parcours musical ComfyUI intégré :

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Le fichier live Comfy couvre également les flux de travail d’image et de vidéo comfy lorsque ces sections sont configurées.

# Articles connexes

• Tâches en arrière-plan — suivi des tâches pour les exécutions music_generate détachées
• ComfyUI
• Référence de configuration — configuration musicGenerationModel
• Google (Gemini)
• MiniMax
• Modèles — configuration des modèles et basculement
• Vue d’ensemble des outils