Generación de video

Las entradas de referencia seleccionan el modo de ejecución:

• Sin medios de referencia → generate
• Cualquier referencia de imagen → imageToVideo
• Cualquier referencia de video → videoToVideo
• Las entradas de audio de referencia no cambian el modo resuelto; se aplican encima del modo que seleccionen las referencias de imagen/video y solo funcionan con proveedores que declaran maxInputAudios.

Las referencias mixtas de imagen y video no son una superficie de capacidad compartida estable. Prefiera un tipo de referencia por solicitud.

# Respaldo y opciones tipadas

Algunas comprobaciones de capacidad se aplican en la capa de respaldo y no en el límite de la herramienta, por lo que una solicitud que excede los límites del proveedor principal puede ejecutarse igualmente en un respaldo capaz:

• El candidato activo que no declara maxInputAudios (o declara 0) se omite cuando la solicitud contiene referencias de audio; se prueba el siguiente candidato.
• El maxDurationSeconds del candidato activo está por debajo del durationSeconds solicitado sin una lista supportedDurationSeconds declarada → se omite.
• La solicitud contiene providerOptions y el candidato activo declara explícitamente un esquema providerOptions tipado → se omite si las claves suministradas no están en el esquema o los tipos de valor no coinciden. Los proveedores sin un esquema declarado reciben las opciones tal cual (paso directo compatible hacia atrás). Un proveedor puede excluirse de todas las opciones de proveedor declarando un esquema vacío (capabilities.providerOptions: {}), lo que causa la misma omisión que una discrepancia de tipo.

El primer motivo de omisión en una solicitud se registra en warn para que los operadores vean cuándo su proveedor principal fue descartado; las omisiones posteriores se registran en debug para mantener silenciosas las cadenas de respaldo largas. Si se omiten todos los candidatos, el error agregado incluye el motivo de omisión de cada uno.

# Acciones

# Selección de modelo

OpenClaw resuelve el modelo en este orden:

1. Parámetro de herramienta model - si el agente especifica uno en la llamada.
2. videoGenerationModel.primary de la configuración.
3. videoGenerationModel.fallbacks en orden.
4. Detección automática - proveedores que tienen autenticación válida, empezando por el proveedor predeterminado actual y luego los proveedores restantes en orden alfabético.

Si un proveedor falla, se prueba automáticamente el siguiente candidato. Si todos los candidatos fallan, el error incluye detalles de cada intento.

Establezca agents.defaults.mediaGenerationAutoProviderFallback: false para usar solo las entradas explícitas model, primary y fallbacks.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Notas del proveedor

# Modos de capacidad de proveedor

El contrato compartido de generación de video admite capacidades específicas por modo en lugar de solo límites agregados planos. Las nuevas implementaciones de proveedores deberían preferir bloques de modo explícitos:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Los campos agregados planos como maxInputImages y maxInputVideos no son suficientes para anunciar compatibilidad con modos de transformación. Los proveedores deberían declarar generate, imageToVideo y videoToVideo explícitamente para que las pruebas en vivo, las pruebas de contrato y la herramienta compartida video_generate puedan validar la compatibilidad de modos de forma determinista.

Cuando un modelo de un proveedor tenga una compatibilidad más amplia con entradas de referencia que el resto, usa maxInputImagesByModel, maxInputVideosByModel o maxInputAudiosByModel en lugar de elevar el límite de todo el modo.

# Pruebas en vivo

Cobertura en vivo opcional para los proveedores empaquetados compartidos:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Contenedor del repositorio:

pnpm test:live:media video

Este archivo en vivo carga las variables de entorno faltantes del proveedor desde ~/.profile, prefiere claves de API en vivo/de entorno por encima de los perfiles de autenticación almacenados de forma predeterminada y ejecuta un smoke seguro para versiones de forma predeterminada:

• generate para cada proveedor que no sea FAL en el barrido.
• Prompt de langosta de un segundo.
• Límite de operación por proveedor desde OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 de forma predeterminada).

FAL es opcional porque la latencia de cola del lado del proveedor puede dominar el tiempo de publicación:

pnpm test:live:media video --video-providers fal

Establece OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 para ejecutar también los modos de transformación declarados que el barrido compartido puede ejercitar de forma segura con medios locales:

• imageToVideo cuando capabilities.imageToVideo.enabled.
• videoToVideo cuando capabilities.videoToVideo.enabled y el proveedor/modelo acepta entrada de video local respaldada por búfer en el barrido compartido.

Hoy, la línea en vivo compartida de videoToVideo cubre runway solo cuando seleccionas runway/gen4_aleph.

# Configuración

Establece el modelo predeterminado de generación de video en tu configuración de OpenClaw:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

O mediante la CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Relacionado

• Alibaba Model Studio
• Tareas en segundo plano - seguimiento de tareas para generación asíncrona de video
• BytePlus
• ComfyUI
• Referencia de configuración
• fal
• Google (Gemini)
• MiniMax
• Modelos
• OpenAI
• Qwen
• Runway
• Together AI
• Resumen de herramientas
• Vydra
• xAI