비디오 생성

참조 입력은 런타임 모드를 선택합니다.

• 참조 미디어 없음 → generate
• 이미지 참조 있음 → imageToVideo
• 비디오 참조 있음 → videoToVideo
• 참조 오디오 입력은 확인된 모드를 변경하지 않습니다. 이미지/비디오 참조가 선택한 모드 위에 적용되며, maxInputAudios를 선언한 공급자에서만 동작합니다.

이미지와 비디오 참조를 혼합하는 것은 안정적인 공통 기능 표면이 아닙니다. 요청당 하나의 참조 타입만 사용하는 것이 좋습니다.

# 폴백 및 형식화된 옵션

일부 기능 검사는 도구 경계가 아니라 폴백 계층에서 적용되므로, 기본 공급자의 제한을 초과하는 요청도 기능이 있는 폴백에서 계속 실행될 수 있습니다.

• 활성 후보가 maxInputAudios를 선언하지 않았거나 0으로 선언한 경우, 요청에 오디오 참조가 포함되어 있으면 건너뛰고 다음 후보를 시도합니다.
• 활성 후보의 maxDurationSeconds가 요청된 durationSeconds보다 낮고 선언된 supportedDurationSeconds 목록이 없으면 건너뜁니다.
• 요청에 providerOptions가 포함되어 있고 활성 후보가 형식화된 providerOptions 스키마를 명시적으로 선언한 경우, 제공된 키가 스키마에 없거나 값 타입이 일치하지 않으면 건너뜁니다. 선언된 스키마가 없는 공급자는 옵션을 그대로 받습니다(하위 호환 패스스루). 공급자는 빈 스키마(capabilities.providerOptions: {})를 선언하여 모든 공급자 옵션을 거부할 수 있으며, 이 경우 타입 불일치와 동일하게 건너뜁니다.

요청에서 첫 번째 건너뛰기 이유는 warn으로 기록되어 운영자가 기본 공급자가 넘어갔음을 볼 수 있게 합니다. 이후 건너뛰기는 긴 폴백 체인을 조용하게 유지하기 위해 debug로 기록됩니다. 모든 후보를 건너뛰면 집계된 오류에 각 후보의 건너뛰기 이유가 포함됩니다.

# 동작

# 모델 선택

OpenClaw는 다음 순서로 모델을 확인합니다.

1. model 도구 매개변수 - 에이전트가 호출에서 지정한 경우.
2. 구성의 videoGenerationModel.primary.
3. 순서대로 videoGenerationModel.fallbacks.
4. 자동 감지 - 유효한 인증이 있는 공급자. 현재 기본 공급자부터 시작한 뒤 나머지 공급자를 알파벳순으로 처리합니다.

공급자가 실패하면 다음 후보를 자동으로 시도합니다. 모든 후보가 실패하면 오류에 각 시도의 세부 정보가 포함됩니다.

명시적인 model, primary, fallbacks 항목만 사용하려면 agents.defaults.mediaGenerationAutoProviderFallback: false를 설정하세요.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# 공급자 참고 사항

# 제공자 기능 모드

공유 동영상 생성 계약은 단순한 평면 집계 제한만이 아니라 모드별 기능을 지원합니다. 새 제공자 구현은 명시적 모드 블록을 선호해야 합니다.

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

maxInputImages 및 maxInputVideos 같은 평면 집계 필드만으로는 변환 모드 지원을 표시하기에 충분하지 않습니다. 제공자는 generate, imageToVideo, videoToVideo를 명시적으로 선언하여 라이브 테스트, 계약 테스트, 공유 video_generate 도구가 모드 지원을 결정적으로 검증할 수 있게 해야 합니다.

제공자 내 한 모델이 나머지 모델보다 더 넓은 참조 입력 지원을 제공하는 경우, 모드 전체 제한을 높이는 대신 maxInputImagesByModel, maxInputVideosByModel 또는 maxInputAudiosByModel을 사용하세요.

# 라이브 테스트

공유 번들 제공자에 대한 옵트인 라이브 적용 범위:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

저장소 래퍼:

pnpm test:live:media video

이 라이브 파일은 누락된 제공자 환경 변수를 ~/.profile에서 로드하고, 기본적으로 저장된 인증 프로필보다 live/env API 키를 우선하며, 기본적으로 릴리스에 안전한 스모크를 실행합니다.

• 스윕의 모든 비-FAL 제공자에 대해 generate.
• 1초짜리 랍스터 프롬프트.
• OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS에서 가져온 제공자별 작업 제한 (기본값 180000).

FAL은 제공자 측 큐 지연 시간이 릴리스 시간을 지배할 수 있으므로 옵트인입니다.

pnpm test:live:media video --video-providers fal

공유 스윕이 로컬 미디어로 안전하게 실행할 수 있는 선언된 변환 모드도 실행하려면 OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1을 설정하세요.

• capabilities.imageToVideo.enabled인 경우 imageToVideo.
• capabilities.videoToVideo.enabled이고 해당 제공자/모델이 공유 스윕에서 버퍼 기반 로컬 동영상 입력을 허용하는 경우 videoToVideo.

현재 공유 videoToVideo 라이브 레인은 runway/gen4_aleph를 선택한 경우에만 runway를 포함합니다.

# 구성

OpenClaw 구성에서 기본 동영상 생성 모델을 설정하세요.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

또는 CLI를 통해 설정하세요.

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# 관련 항목

• Alibaba Model Studio
• 백그라운드 작업 - 비동기 동영상 생성을 위한 작업 추적
• BytePlus
• ComfyUI
• 구성 참조
• fal
• Google (Gemini)
• MiniMax
• 모델
• OpenAI
• Qwen
• Runway
• Together AI
• 도구 개요
• Vydra
• xAI