视频生成

参考输入会选择运行时模式：

• 无参考媒体 → generate
• 任意图像参考 → imageToVideo
• 任意视频参考 → videoToVideo
• 参考音频输入不会改变解析后的模式；它们会应用在 图像/视频参考所选择的任意模式之上，并且只适用于 声明了 maxInputAudios 的提供商。

混合图像和视频参考并不是稳定的共享能力面。 建议每个请求只使用一种参考类型。

# 回退和类型化选项

有些能力检查会在回退层而不是 工具边界应用，因此超出主提供商限制的请求 仍可在有能力的回退上运行：

• 当请求包含音频参考时，声明无 maxInputAudios（或为 0）的活动候选项会被跳过； 然后尝试下一个候选项。
• 活动候选项的 maxDurationSeconds 低于请求的 durationSeconds 且未声明 supportedDurationSeconds 列表 → 跳过。
• 请求包含 providerOptions，且活动候选项明确 声明了类型化 providerOptions schema → 如果提供的键 不在 schema 中或值类型不匹配，则跳过。未 声明 schema 的提供商会原样接收选项（向后兼容的 透传）。提供商可以通过 声明空 schema（capabilities.providerOptions: {}）选择退出所有提供商选项，这 会导致与类型不匹配相同的跳过。

请求中的第一个跳过原因会以 warn 记录，以便操作员看到 主提供商何时被跳过；后续跳过会以 debug 记录，以 保持长回退链安静。如果每个候选项都被跳过， 聚合错误会包含每个候选项的跳过原因。

# 操作

# 模型选择

OpenClaw 按以下顺序解析模型：

1. model 工具参数 - 如果智能体在调用中指定了它。
2. 配置中的 videoGenerationModel.primary。
3. 按顺序使用 videoGenerationModel.fallbacks。
4. 自动检测 - 具有有效凭证的提供商，从 当前默认提供商开始，然后按字母 顺序使用其余提供商。

如果提供商失败，会自动尝试下一个候选项。如果所有 候选项都失败，错误会包含每次尝试的详情。

设置 agents.defaults.mediaGenerationAutoProviderFallback: false 可只使用 显式的 model、primary 和 fallbacks 条目。

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# 提供商说明

# 提供商能力模式

共享的视频生成合约支持特定模式的能力， 而不是只支持扁平的聚合限制。新的提供商实现 应优先使用显式模式块：

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

诸如 maxInputImages 和 maxInputVideos 的扁平聚合字段 不足以声明支持转换模式。提供商应 显式声明 generate、imageToVideo 和 videoToVideo，以便实时 测试、合约测试和共享的 video_generate 工具可以确定性地验证 模式支持。

当提供商中的某个模型拥有比其余模型更宽泛的引用输入支持时， 请使用 maxInputImagesByModel、maxInputVideosByModel 或 maxInputAudiosByModel，而不是提高整个模式的限制。

# 实时测试

共享内置提供商的可选实时覆盖：

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

仓库包装器：

pnpm test:live:media video

此实时文件会从 ~/.profile 加载缺失的提供商环境变量， 默认优先使用实时/环境 API key，而不是已存储的认证配置文件，并且默认运行一个 适合发布的冒烟测试：

• 对扫描中的每个非 FAL 提供商运行 generate。
• 一秒钟的龙虾提示词。
• 每个提供商的操作上限来自 OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS（默认 180000）。

FAL 是可选项，因为提供商侧队列延迟可能主导发布时间：

pnpm test:live:media video --video-providers fal

设置 OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1，还会运行声明的 转换模式，这些模式可由共享扫描使用本地媒体安全执行：

• 当 capabilities.imageToVideo.enabled 时运行 imageToVideo。
• 当 capabilities.videoToVideo.enabled 且 提供商/模型在共享扫描中接受缓冲区支持的本地视频输入时运行 videoToVideo。

目前，只有在选择 runway/gen4_aleph 时，共享的 videoToVideo 实时通道才覆盖 runway。

# 配置

在你的 OpenClaw 配置中设置默认视频生成模型：

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

或通过 CLI：

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# 相关内容

• Alibaba Model Studio
• 后台任务 - 异步视频生成的任务跟踪
• BytePlus
• ComfyUI
• 配置参考
• fal
• Google (Gemini)
• MiniMax
• Models
• OpenAI
• Qwen
• Runway
• Together AI
• 工具概览
• Vydra
• xAI