Geração de vídeo

As entradas de referência selecionam o modo de execução:

• Nenhuma mídia de referência → generate
• Qualquer referência de imagem → imageToVideo
• Qualquer referência de vídeo → videoToVideo
• Entradas de áudio de referência não alteram o modo resolvido; elas se aplicam sobre qualquer modo selecionado pelas referências de imagem/vídeo e só funcionam com provedores que declaram maxInputAudios.

Referências mistas de imagem e vídeo não são uma superfície de recurso compartilhada estável. Prefira um tipo de referência por solicitação.

# Fallback e opções tipadas

Algumas verificações de capacidade são aplicadas na camada de fallback, em vez de no limite da ferramenta, de modo que uma solicitação que exceda os limites do provedor primário ainda pode ser executada em um fallback capaz:

• Candidato ativo que não declara maxInputAudios (ou declara 0) é ignorado quando a solicitação contém referências de áudio; o próximo candidato é tentado.
• maxDurationSeconds do candidato ativo abaixo do durationSeconds solicitado sem lista supportedDurationSeconds declarada → ignorado.
• A solicitação contém providerOptions e o candidato ativo declara explicitamente um esquema tipado de providerOptions → ignorado se as chaves fornecidas não estiverem no esquema ou os tipos dos valores não corresponderem. Provedores sem um esquema declarado recebem as opções como estão (repasse compatível com versões anteriores). Um provedor pode recusar todas as opções do provedor declarando um esquema vazio (capabilities.providerOptions: {}), o que causa o mesmo salto que uma incompatibilidade de tipo.

O primeiro motivo de salto em uma solicitação é registrado em warn, para que operadores vejam quando o provedor primário foi ignorado; saltos subsequentes são registrados em debug para manter silenciosas cadeias longas de fallback. Se todos os candidatos forem ignorados, o erro agregado incluirá o motivo de salto de cada um.

# Ações

# Seleção de modelo

O OpenClaw resolve o modelo nesta ordem:

1. Parâmetro de ferramenta model - se o agente especificar um na chamada.
2. videoGenerationModel.primary da configuração.
3. videoGenerationModel.fallbacks em ordem.
4. Detecção automática - provedores que têm autenticação válida, começando pelo provedor padrão atual e depois os provedores restantes em ordem alfabética.

Se um provedor falhar, o próximo candidato é tentado automaticamente. Se todos os candidatos falharem, o erro inclui detalhes de cada tentativa.

Defina agents.defaults.mediaGenerationAutoProviderFallback: false para usar apenas as entradas explícitas de model, primary e fallbacks.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Notas dos provedores

# Modos de capacidade do provedor

O contrato compartilhado de geração de vídeo oferece suporte a capacidades específicas por modo, em vez de apenas limites agregados planos. Novas implementações de provedor devem preferir blocos de modo explícitos:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Campos agregados planos como maxInputImages e maxInputVideos não são suficientes para anunciar suporte a modos de transformação. Provedores devem declarar generate, imageToVideo e videoToVideo explicitamente para que testes ao vivo, testes de contrato e a ferramenta compartilhada video_generate possam validar o suporte a modos de forma determinística.

Quando um modelo em um provedor tiver suporte mais amplo a entradas de referência do que o restante, use maxInputImagesByModel, maxInputVideosByModel ou maxInputAudiosByModel em vez de aumentar o limite de todo o modo.

# Testes ao vivo

Cobertura ao vivo opcional para os provedores compartilhados empacotados:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper do repositório:

pnpm test:live:media video

Este arquivo ao vivo carrega variáveis de ambiente ausentes do provedor a partir de ~/.profile, prefere chaves de API ao vivo/de ambiente em vez de perfis de autenticação armazenados por padrão, e executa um smoke seguro para release por padrão:

• generate para todos os provedores não FAL na varredura.
• Prompt de lagosta de um segundo.
• Limite de operação por provedor a partir de OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 por padrão).

FAL é opcional porque a latência de fila no lado do provedor pode dominar o tempo de release:

pnpm test:live:media video --video-providers fal

Defina OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para também executar modos de transformação declarados que a varredura compartilhada consegue exercitar com segurança com mídia local:

• imageToVideo quando capabilities.imageToVideo.enabled.
• videoToVideo quando capabilities.videoToVideo.enabled e o provedor/modelo aceitar entrada de vídeo local baseada em buffer na varredura compartilhada.

Hoje, a faixa ao vivo compartilhada videoToVideo cobre runway apenas quando você seleciona runway/gen4_aleph.

# Configuração

Defina o modelo padrão de geração de vídeo na sua configuração do OpenClaw:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Ou pela CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Relacionado

• Alibaba Model Studio
• Tarefas em segundo plano - rastreamento de tarefas para geração assíncrona de vídeo
• BytePlus
• ComfyUI
• Referência de configuração
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Visão geral das ferramentas
• Vydra
• xAI