Génération de vidéos

Les entrées de référence sélectionnent le mode d’exécution :

• Aucun média de référence → generate
• Toute référence d’image → imageToVideo
• Toute référence vidéo → videoToVideo
• Les entrées audio de référence ne changent pas le mode résolu ; elles s’appliquent par-dessus le mode sélectionné par les références image/vidéo, et ne fonctionnent qu’avec les fournisseurs qui déclarent maxInputAudios.

Le mélange de références image et vidéo n’est pas une surface de capacité partagée stable. Préférez un seul type de référence par requête.

# Fallback et options typées

Certaines vérifications de capacité sont appliquées au niveau de fallback plutôt qu’à la limite de l’outil, de sorte qu’une requête qui dépasse les limites du fournisseur principal peut encore s’exécuter sur un fallback capable :

• Un candidat actif ne déclarant aucun maxInputAudios (ou 0) est ignoré lorsque la requête contient des références audio ; le candidat suivant est essayé.
• Le maxDurationSeconds du candidat actif est inférieur au durationSeconds demandé sans liste supportedDurationSeconds déclarée → ignoré.
• La requête contient providerOptions et le candidat actif déclare explicitement un schéma providerOptions typé → ignoré si les clés fournies ne sont pas dans le schéma ou si les types de valeur ne correspondent pas. Les fournisseurs sans schéma déclaré reçoivent les options telles quelles (transmission rétrocompatible). Un fournisseur peut refuser toutes les options fournisseur en déclarant un schéma vide (capabilities.providerOptions: {}), ce qui provoque le même saut qu’une incompatibilité de type.

La première raison de saut dans une requête est journalisée au niveau warn afin que les opérateurs voient quand leur fournisseur principal a été ignoré ; les sauts suivants sont journalisés au niveau debug pour garder les longues chaînes de fallback silencieuses. Si tous les candidats sont ignorés, l’erreur agrégée inclut la raison de saut pour chacun.

# Actions

# Sélection du modèle

OpenClaw résout le modèle dans cet ordre :

1. Paramètre d’outil model - si l’agent en spécifie un dans l’appel.
2. videoGenerationModel.primary depuis la configuration.
3. videoGenerationModel.fallbacks dans l’ordre.
4. Détection automatique - les fournisseurs qui disposent d’une authentification valide, en commençant par le fournisseur par défaut actuel, puis les fournisseurs restants par ordre alphabétique.

Si un fournisseur échoue, le candidat suivant est essayé automatiquement. Si tous les candidats échouent, l’erreur inclut les détails de chaque tentative.

Définissez agents.defaults.mediaGenerationAutoProviderFallback: false pour utiliser uniquement les entrées explicites model, primary et fallbacks.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Notes sur les fournisseurs

# Modes de capacité des fournisseurs

Le contrat partagé de génération vidéo prend en charge des capacités propres à chaque mode au lieu de simples limites agrégées à plat. Les nouvelles implémentations de fournisseurs devraient privilégier des blocs de mode explicites :

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Les champs agrégés à plat tels que maxInputImages et maxInputVideos ne sont pas suffisants pour annoncer la prise en charge des modes de transformation. Les fournisseurs devraient déclarer explicitement generate, imageToVideo et videoToVideo afin que les tests live, les tests de contrat et l’outil partagé video_generate puissent valider la prise en charge des modes de façon déterministe.

Lorsqu’un modèle d’un fournisseur prend en charge davantage d’entrées de référence que les autres, utilisez maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel au lieu d’augmenter la limite globale du mode.

# Tests live

Couverture live facultative pour les fournisseurs groupés partagés :

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper du dépôt :

pnpm test:live:media video

Ce fichier live charge les variables d’environnement de fournisseur manquantes depuis ~/.profile, privilégie par défaut les clés d’API live/env par rapport aux profils d’authentification stockés, et exécute par défaut un smoke test compatible avec les releases :

• generate pour chaque fournisseur non-FAL dans le sweep.
• Prompt homard d’une seconde.
• Limite d’opération par fournisseur depuis OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 par défaut).

FAL est facultatif, car la latence de file côté fournisseur peut dominer le temps de release :

pnpm test:live:media video --video-providers fal

Définissez OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 pour exécuter également les modes de transformation déclarés que le sweep partagé peut exercer de façon sûre avec des médias locaux :

• imageToVideo lorsque capabilities.imageToVideo.enabled.
• videoToVideo lorsque capabilities.videoToVideo.enabled et que le fournisseur/modèle accepte une entrée vidéo locale adossée à un buffer dans le sweep partagé.

Aujourd’hui, la lane live partagée videoToVideo couvre runway uniquement lorsque vous sélectionnez runway/gen4_aleph.

# Configuration

Définissez le modèle de génération vidéo par défaut dans votre configuration OpenClaw :

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Ou via la CLI :

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Connexes

• Alibaba Model Studio
• Tâches en arrière-plan - suivi des tâches pour la génération vidéo asynchrone
• BytePlus
• ComfyUI
• Référence de configuration
• fal
• Google (Gemini)
• MiniMax
• Modèles
• OpenAI
• Qwen
• Runway
• Together AI
• Vue d’ensemble des outils
• Vydra
• xAI