การสร้างวิดีโอ

อินพุตอ้างอิงจะเลือกโหมดรันไทม์:

• ไม่มีสื่ออ้างอิง → generate
• มีอิมเมจอ้างอิงใด ๆ → imageToVideo
• มีวิดีโออ้างอิงใด ๆ → videoToVideo
• อินพุตเสียงอ้างอิง ไม่ เปลี่ยนโหมดที่ resolve ได้; อินพุตเหล่านี้จะถูกใช้บน โหมดใดก็ตามที่ข้อมูลอ้างอิงอิมเมจ/วิดีโอเลือกไว้ และทำงานได้เฉพาะ กับผู้ให้บริการที่ประกาศ maxInputAudios

การผสมข้อมูลอ้างอิงอิมเมจและวิดีโอไม่ใช่พื้นผิวความสามารถร่วมที่เสถียร ควรใช้ชนิดอ้างอิงหนึ่งชนิดต่อหนึ่งคำขอ

# Fallback และตัวเลือกแบบมีชนิด

การตรวจสอบความสามารถบางอย่างจะถูกนำไปใช้ที่เลเยอร์ fallback แทนที่จะเป็น ขอบเขตของเครื่องมือ ดังนั้นคำขอที่เกินขีดจำกัดของผู้ให้บริการหลักยังสามารถ รันบน fallback ที่มีความสามารถได้:

• ตัวเลือกผู้สมัครที่ใช้งานอยู่ซึ่งไม่ได้ประกาศ maxInputAudios (หรือประกาศ 0) จะถูกข้ามเมื่อ คำขอมีข้อมูลอ้างอิงเสียง; จะลองตัวเลือกผู้สมัครถัดไป
• maxDurationSeconds ของตัวเลือกผู้สมัครที่ใช้งานอยู่ต่ำกว่า durationSeconds ที่ร้องขอ โดยไม่มีรายการ supportedDurationSeconds ที่ประกาศไว้ → ถูกข้าม
• คำขอมี providerOptions และตัวเลือกผู้สมัครที่ใช้งานอยู่ประกาศ สคีมา providerOptions แบบมีชนิดอย่างชัดเจน → ถูกข้ามหากคีย์ที่ให้มา ไม่อยู่ในสคีมาหรือชนิดค่าไม่ตรงกัน ผู้ให้บริการที่ไม่มี สคีมาที่ประกาศไว้จะรับตัวเลือกตามเดิม (การส่งผ่านที่เข้ากันได้ย้อนหลัง) ผู้ให้บริการสามารถเลือกไม่รับตัวเลือกผู้ให้บริการทั้งหมดได้โดย ประกาศสคีมาว่าง (capabilities.providerOptions: {}) ซึ่ง ทำให้เกิดการข้ามแบบเดียวกับชนิดไม่ตรงกัน

เหตุผลการข้ามแรกในคำขอจะถูกบันทึกที่ warn เพื่อให้ผู้ปฏิบัติงานเห็นเมื่อ ผู้ให้บริการหลักของตนถูกข้ามไป; การข้ามครั้งถัดไปจะถูกบันทึกที่ debug เพื่อ ให้เชน fallback ที่ยาวไม่ส่งเสียงมากเกินไป หากตัวเลือกผู้สมัครทั้งหมดถูกข้าม ข้อผิดพลาดรวมจะมีเหตุผลการข้ามของแต่ละรายการ

# การดำเนินการ

# การเลือกโมเดล

OpenClaw resolve โมเดลตามลำดับนี้:

1. พารามิเตอร์เครื่องมือ model - หากเอเจนต์ระบุไว้ในการเรียก
2. videoGenerationModel.primary จากคอนฟิก
3. videoGenerationModel.fallbacks ตามลำดับ
4. การตรวจจับอัตโนมัติ - ผู้ให้บริการที่มีการตรวจสอบสิทธิ์ถูกต้อง โดยเริ่มจาก ผู้ให้บริการเริ่มต้นปัจจุบัน แล้วตามด้วยผู้ให้บริการที่เหลือในลำดับตัวอักษร

หากผู้ให้บริการล้มเหลว ระบบจะลองตัวเลือกผู้สมัครถัดไปโดยอัตโนมัติ หากตัวเลือกผู้สมัครทั้งหมด ล้มเหลว ข้อผิดพลาดจะมีรายละเอียดจากแต่ละความพยายาม

ตั้งค่า agents.defaults.mediaGenerationAutoProviderFallback: false เพื่อใช้ เฉพาะรายการ model, primary และ fallbacks ที่ระบุอย่างชัดเจนเท่านั้น

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# หมายเหตุเกี่ยวกับผู้ให้บริการ

# โหมดความสามารถของผู้ให้บริการ

สัญญาการสร้างวิดีโอที่ใช้ร่วมกันรองรับความสามารถเฉพาะโหมด แทนที่จะรองรับเพียงขีดจำกัดรวมแบบแบนเท่านั้น การใช้งานผู้ให้บริการใหม่ ควรเลือกใช้บล็อกโหมดที่ชัดเจน:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

ฟิลด์รวมแบบแบน เช่น maxInputImages และ maxInputVideos ไม่ เพียงพอสำหรับประกาศการรองรับโหมดแปลง ผู้ให้บริการควร ประกาศ generate, imageToVideo และ videoToVideo อย่างชัดเจน เพื่อให้การทดสอบจริง การทดสอบสัญญา และเครื่องมือ video_generate ที่ใช้ร่วมกันสามารถตรวจสอบ การรองรับโหมดได้อย่างกำหนดผลซ้ำได้

เมื่อโมเดลหนึ่งในผู้ให้บริการรองรับอินพุตอ้างอิงกว้างกว่า โมเดลอื่น ให้ใช้ maxInputImagesByModel, maxInputVideosByModel หรือ maxInputAudiosByModel แทนการเพิ่มขีดจำกัดทั้งโหมด

# การทดสอบจริง

ความครอบคลุมการทดสอบจริงแบบเลือกเปิดสำหรับผู้ให้บริการที่รวมมาและใช้ร่วมกัน:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

ตัวครอบคำสั่งของรีโป:

pnpm test:live:media video

ไฟล์ทดสอบจริงนี้โหลดตัวแปรสภาพแวดล้อมของผู้ให้บริการที่ขาดหายจาก ~/.profile, เลือกใช้ คีย์ API จากการทดสอบจริง/สภาพแวดล้อมก่อนโปรไฟล์การยืนยันตัวตนที่เก็บไว้โดยค่าเริ่มต้น และรัน การทดสอบควันแบบปลอดภัยต่อรีลีสโดยค่าเริ่มต้น:

• generate สำหรับผู้ให้บริการที่ไม่ใช่ FAL ทุกตัวในการกวาดทดสอบ
• พรอมป์ล็อบสเตอร์หนึ่งวินาที
• เพดานการดำเนินการต่อผู้ให้บริการจาก OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 โดยค่าเริ่มต้น)

FAL เป็นแบบเลือกเปิดเพราะเวลาแฝงของคิวฝั่งผู้ให้บริการอาจกินเวลารีลีส เป็นหลัก:

pnpm test:live:media video --video-providers fal

ตั้งค่า OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 เพื่อรันโหมดแปลงที่ประกาศไว้ด้วย ซึ่งการกวาดทดสอบร่วมสามารถใช้สื่อในเครื่องทดสอบได้อย่างปลอดภัย:

• imageToVideo เมื่อ capabilities.imageToVideo.enabled
• videoToVideo เมื่อ capabilities.videoToVideo.enabled และ ผู้ให้บริการ/โมเดลรับอินพุตวิดีโอในเครื่องที่มีบัฟเฟอร์รองรับในการกวาดทดสอบ ร่วม

ปัจจุบันเลนทดสอบจริง videoToVideo ที่ใช้ร่วมกันครอบคลุมเฉพาะ runway เมื่อคุณ เลือก runway/gen4_aleph

# การกำหนดค่า

ตั้งค่าโมเดลสร้างวิดีโอเริ่มต้นในการกำหนดค่า OpenClaw ของคุณ:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

หรือผ่าน CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# ที่เกี่ยวข้อง

• Alibaba Model Studio
• งานเบื้องหลัง - การติดตามงานสำหรับการสร้างวิดีโอแบบอะซิงโครนัส
• BytePlus
• ComfyUI
• ข้อมูลอ้างอิงการกำหนดค่า
• fal
• Google (Gemini)
• MiniMax
• โมเดล
• OpenAI
• Qwen
• Runway
• Together AI
• ภาพรวมเครื่องมือ
• Vydra
• xAI