Generazione di video

Gli input di riferimento selezionano la modalità di runtime:

• Nessun media di riferimento → generate
• Qualsiasi riferimento immagine → imageToVideo
• Qualsiasi riferimento video → videoToVideo
• Gli input audio di riferimento non modificano la modalità risolta; si applicano sopra qualunque modalità selezionino i riferimenti immagine/video e funzionano solo con provider che dichiarano maxInputAudios.

Riferimenti immagine e video misti non sono una superficie di capacità condivisa stabile. Preferisci un solo tipo di riferimento per richiesta.

# Fallback e opzioni tipizzate

Alcuni controlli di capacità vengono applicati al livello di fallback anziché al confine dello strumento, quindi una richiesta che supera i limiti del provider primario può comunque essere eseguita su un fallback capace:

• Il candidato attivo che non dichiara maxInputAudios (o dichiara 0) viene saltato quando la richiesta contiene riferimenti audio; viene provato il candidato successivo.
• Il maxDurationSeconds del candidato attivo sotto il durationSeconds richiesto senza elenco supportedDurationSeconds dichiarato → saltato.
• La richiesta contiene providerOptions e il candidato attivo dichiara esplicitamente uno schema providerOptions tipizzato → saltato se le chiavi fornite non sono nello schema o i tipi di valore non corrispondono. I provider senza uno schema dichiarato ricevono le opzioni così come sono (pass-through retrocompatibile). Un provider può rinunciare a tutte le opzioni del provider dichiarando uno schema vuoto (capabilities.providerOptions: {}), il che causa lo stesso salto di una mancata corrispondenza di tipo.

Il primo motivo di salto in una richiesta viene registrato a warn, così gli operatori vedono quando il loro provider primario è stato ignorato; i salti successivi vengono registrati a debug per mantenere silenziose le lunghe catene di fallback. Se ogni candidato viene saltato, l' errore aggregato include il motivo di salto per ciascuno.

# Azioni

# Selezione del modello

OpenClaw risolve il modello in questo ordine:

1. Parametro dello strumento model - se l'agente ne specifica uno nella chiamata.
2. videoGenerationModel.primary dalla configurazione.
3. videoGenerationModel.fallbacks in ordine.
4. Rilevamento automatico - provider con autenticazione valida, a partire dal provider predefinito corrente, poi i provider rimanenti in ordine alfabetico.

Se un provider fallisce, il candidato successivo viene provato automaticamente. Se tutti i candidati falliscono, l'errore include i dettagli di ciascun tentativo.

Imposta agents.defaults.mediaGenerationAutoProviderFallback: false per usare solo le voci esplicite model, primary e fallbacks.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Note sui provider

# Modalità di capacità dei provider

Il contratto condiviso di generazione video supporta capacità specifiche per modalità invece di soli limiti aggregati piatti. Le nuove implementazioni di provider dovrebbero preferire blocchi di modalità espliciti:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Campi aggregati piatti come maxInputImages e maxInputVideos non sono sufficienti per dichiarare il supporto della modalità di trasformazione. I provider dovrebbero dichiarare esplicitamente generate, imageToVideo e videoToVideo affinché test live, test di contratto e lo strumento condiviso video_generate possano convalidare il supporto della modalità in modo deterministico.

Quando un modello in un provider ha un supporto più ampio per gli input di riferimento rispetto al resto, usa maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel invece di aumentare il limite dell'intera modalità.

# Test live

Copertura live opzionale per i provider inclusi condivisi:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper del repository:

pnpm test:live:media video

Questo file live carica le variabili d'ambiente mancanti del provider da ~/.profile, preferisce per impostazione predefinita le chiavi API live/env rispetto ai profili di autenticazione archiviati, ed esegue uno smoke sicuro per la release per impostazione predefinita:

• generate per ogni provider non FAL nella sweep.
• Prompt di un secondo con aragosta.
• Limite operativo per provider da OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 per impostazione predefinita).

FAL è opzionale perché la latenza della coda lato provider può dominare il tempo di release:

pnpm test:live:media video --video-providers fal

Imposta OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 per eseguire anche le modalità di trasformazione dichiarate che la sweep condivisa può esercitare in sicurezza con media locali:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e il provider/modello accetta input video locale basato su buffer nella sweep condivisa.

Oggi la lane live condivisa videoToVideo copre runway solo quando selezioni runway/gen4_aleph.

# Configurazione

Imposta il modello predefinito di generazione video nella tua configurazione OpenClaw:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Oppure tramite la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Correlati

• Alibaba Model Studio
• Attività in background - tracciamento delle attività per la generazione video asincrona
• BytePlus
• ComfyUI
• Riferimento di configurazione
• fal
• Google (Gemini)
• MiniMax
• Modelli
• OpenAI
• Qwen
• Runway
• Together AI
• Panoramica degli strumenti
• Vydra
• xAI