Tạo video

Đầu vào tham chiếu chọn chế độ runtime:

• Không có media tham chiếu → generate
• Có bất kỳ ảnh tham chiếu nào → imageToVideo
• Có bất kỳ video tham chiếu nào → videoToVideo
• Đầu vào âm thanh tham chiếu không thay đổi chế độ đã phân giải; chúng áp dụng lên trên bất kỳ chế độ nào mà tham chiếu ảnh/video chọn, và chỉ hoạt động với các nhà cung cấp khai báo maxInputAudios.

Việc trộn tham chiếu ảnh và video không phải là một bề mặt khả năng chung ổn định. Nên dùng một loại tham chiếu cho mỗi yêu cầu.

# Dự phòng và tùy chọn có kiểu

Một số kiểm tra khả năng được áp dụng ở lớp dự phòng thay vì ở ranh giới công cụ, nên một yêu cầu vượt quá giới hạn của nhà cung cấp chính vẫn có thể chạy trên một dự phòng có khả năng:

• Ứng viên đang hoạt động không khai báo maxInputAudios (hoặc 0) sẽ bị bỏ qua khi yêu cầu chứa tham chiếu âm thanh; ứng viên tiếp theo được thử.
• maxDurationSeconds của ứng viên đang hoạt động thấp hơn durationSeconds được yêu cầu và không khai báo danh sách supportedDurationSeconds → bị bỏ qua.
• Yêu cầu chứa providerOptions và ứng viên đang hoạt động khai báo rõ ràng schema providerOptions có kiểu → bị bỏ qua nếu các khóa được cung cấp không nằm trong schema hoặc kiểu giá trị không khớp. Các nhà cung cấp không có schema đã khai báo nhận tùy chọn nguyên trạng (truyền qua tương thích ngược). Nhà cung cấp có thể từ chối toàn bộ tùy chọn nhà cung cấp bằng cách khai báo schema rỗng (capabilities.providerOptions: {}), điều này gây ra cùng kiểu bỏ qua như lỗi không khớp kiểu.

Lý do bỏ qua đầu tiên trong một yêu cầu được ghi log ở mức warn để người vận hành thấy khi nhà cung cấp chính của họ bị bỏ qua; các lần bỏ qua tiếp theo ghi log ở mức debug để giữ các chuỗi dự phòng dài yên tĩnh. Nếu mọi ứng viên đều bị bỏ qua, lỗi tổng hợp bao gồm lý do bỏ qua cho từng ứng viên.

# Hành động

# Chọn mô hình

OpenClaw phân giải mô hình theo thứ tự này:

1. Tham số công cụ model - nếu agent chỉ định một giá trị trong lệnh gọi.
2. videoGenerationModel.primary từ cấu hình.
3. videoGenerationModel.fallbacks theo thứ tự.
4. Tự động phát hiện - các nhà cung cấp có xác thực hợp lệ, bắt đầu bằng nhà cung cấp mặc định hiện tại, rồi các nhà cung cấp còn lại theo thứ tự bảng chữ cái.

Nếu một nhà cung cấp thất bại, ứng viên tiếp theo được thử tự động. Nếu tất cả ứng viên đều thất bại, lỗi bao gồm chi tiết từ từng lần thử.

Đặt agents.defaults.mediaGenerationAutoProviderFallback: false để chỉ dùng các mục model, primary và fallbacks rõ ràng.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Ghi chú về nhà cung cấp

# Chế độ năng lực của nhà cung cấp

Hợp đồng tạo video dùng chung hỗ trợ các năng lực theo từng chế độ thay vì chỉ có các giới hạn tổng hợp phẳng. Các triển khai nhà cung cấp mới nên ưu tiên các khối chế độ rõ ràng:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Các trường tổng hợp phẳng như maxInputImages và maxInputVideos không đủ để công bố hỗ trợ chế độ chuyển đổi. Nhà cung cấp nên khai báo rõ generate, imageToVideo, và videoToVideo để các kiểm thử trực tiếp, kiểm thử hợp đồng, và công cụ video_generate dùng chung có thể xác thực hỗ trợ chế độ một cách xác định.

Khi một mô hình trong một nhà cung cấp có hỗ trợ đầu vào tham chiếu rộng hơn phần còn lại, hãy dùng maxInputImagesByModel, maxInputVideosByModel, hoặc maxInputAudiosByModel thay vì nâng giới hạn cho toàn bộ chế độ.

# Kiểm thử trực tiếp

Phạm vi kiểm thử trực tiếp chọn tham gia cho các nhà cung cấp đi kèm dùng chung:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper repo:

pnpm test:live:media video

Tệp trực tiếp này tải các biến môi trường nhà cung cấp còn thiếu từ ~/.profile, mặc định ưu tiên khóa API trực tiếp/môi trường hơn hồ sơ xác thực đã lưu, và mặc định chạy một smoke an toàn cho phát hành:

• generate cho mọi nhà cung cấp không phải FAL trong lượt quét.
• Prompt tôm hùm một giây.
• Giới hạn thao tác theo nhà cung cấp từ OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (mặc định là 180000).

FAL là tùy chọn chọn tham gia vì độ trễ hàng đợi phía nhà cung cấp có thể chi phối thời gian phát hành:

pnpm test:live:media video --video-providers fal

Đặt OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 để cũng chạy các chế độ chuyển đổi đã khai báo mà lượt quét dùng chung có thể thực thi an toàn với media cục bộ:

• imageToVideo khi capabilities.imageToVideo.enabled.
• videoToVideo khi capabilities.videoToVideo.enabled và nhà cung cấp/mô hình chấp nhận đầu vào video cục bộ dựa trên buffer trong lượt quét dùng chung.

Hiện tại, lane trực tiếp videoToVideo dùng chung chỉ bao phủ runway khi bạn chọn runway/gen4_aleph.

# Cấu hình

Đặt mô hình tạo video mặc định trong cấu hình OpenClaw của bạn:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Hoặc qua CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Liên quan

• Alibaba Model Studio
• Tác vụ nền - theo dõi tác vụ cho tạo video bất đồng bộ
• BytePlus
• ComfyUI
• Tham chiếu cấu hình
• fal
• Google (Gemini)
• MiniMax
• Mô hình
• OpenAI
• Qwen
• Runway
• Together AI
• Tổng quan công cụ
• Vydra
• xAI