Generowanie wideo

Wejścia referencyjne wybierają tryb uruchomieniowy:

• Brak mediów referencyjnych → generate
• Dowolna referencja obrazu → imageToVideo
• Dowolna referencja filmu → videoToVideo
• Wejścia audio referencyjnego nie zmieniają rozwiązanego trybu; są stosowane na wierzchu trybu wybranego przez referencje obrazu/filmu i działają tylko z dostawcami, którzy deklarują maxInputAudios.

Mieszane referencje obrazów i filmów nie są stabilną wspólną powierzchnią możliwości. Preferuj jeden typ referencji na żądanie.

# Przełączanie awaryjne i typowane opcje

Niektóre kontrole możliwości są stosowane w warstwie przełączania awaryjnego, a nie na granicy narzędzia, więc żądanie przekraczające limity głównego dostawcy może nadal zostać uruchomione u zdolnego dostawcy awaryjnego:

• Aktywny kandydat, który nie deklaruje maxInputAudios (lub deklaruje 0), jest pomijany, gdy żądanie zawiera referencje audio; próbowany jest następny kandydat.
• maxDurationSeconds aktywnego kandydata poniżej żądanego durationSeconds bez zadeklarowanej listy supportedDurationSeconds → pomijany.
• Żądanie zawiera providerOptions, a aktywny kandydat jawnie deklaruje typowany schemat providerOptions → pomijany, jeśli podane klucze nie znajdują się w schemacie lub typy wartości nie pasują. Dostawcy bez zadeklarowanego schematu otrzymują opcje bez zmian (wstecznie zgodne przekazanie). Dostawca może zrezygnować ze wszystkich opcji dostawcy przez zadeklarowanie pustego schematu (capabilities.providerOptions: {}), co powoduje takie samo pominięcie jak niezgodność typu.

Pierwszy powód pominięcia w żądaniu jest logowany na poziomie warn, aby operatorzy widzieli, kiedy ich główny dostawca został pominięty; kolejne pominięcia są logowane na poziomie debug, aby długie łańcuchy przełączania awaryjnego pozostawały ciche. Jeśli każdy kandydat zostanie pominięty, zagregowany błąd zawiera powód pominięcia dla każdego z nich.

# Akcje

# Wybór modelu

OpenClaw rozwiązuje model w tej kolejności:

1. Parametr narzędzia model - jeśli agent określi go w wywołaniu.
2. videoGenerationModel.primary z konfiguracji.
3. videoGenerationModel.fallbacks w kolejności.
4. Automatyczne wykrywanie - dostawcy z prawidłowym uwierzytelnieniem, zaczynając od bieżącego domyślnego dostawcy, a następnie pozostali dostawcy w kolejności alfabetycznej.

Jeśli dostawca zawiedzie, następny kandydat jest próbowany automatycznie. Jeśli wszyscy kandydaci zawiodą, błąd zawiera szczegóły z każdej próby.

Ustaw agents.defaults.mediaGenerationAutoProviderFallback: false, aby używać tylko jawnych wpisów model, primary i fallbacks.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Uwagi o dostawcach

# Tryby możliwości dostawcy

Wspólny kontrakt generowania wideo obsługuje możliwości specyficzne dla trybu zamiast tylko płaskich limitów zbiorczych. Nowe implementacje dostawców powinny preferować jawne bloki trybów:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Płaskie pola zbiorcze, takie jak maxInputImages i maxInputVideos, nie wystarczają do deklarowania obsługi trybu transformacji. Dostawcy powinni jawnie deklarować generate, imageToVideo i videoToVideo, aby testy live, testy kontraktu i wspólne narzędzie video_generate mogły deterministycznie weryfikować obsługę trybów.

Gdy jeden model u dostawcy ma szerszą obsługę wejść referencyjnych niż pozostałe, użyj maxInputImagesByModel, maxInputVideosByModel albo maxInputAudiosByModel zamiast podnosić limit dla całego trybu.

# Testy live

Opcjonalne pokrycie live dla wspólnych dołączonych dostawców:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Wrapper repozytorium:

pnpm test:live:media video

Ten plik live ładuje brakujące zmienne środowiskowe dostawców z ~/.profile, domyślnie preferuje klucze API live/env przed zapisanymi profilami uwierzytelniania i domyślnie uruchamia bezpieczny dla wydania smoke test:

• generate dla każdego dostawcy spoza FAL w przebiegu.
• Jednosekundowy prompt z homarem.
• Limit operacji dla każdego dostawcy z OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (domyślnie 180000).

FAL jest opcjonalny, ponieważ opóźnienie kolejki po stronie dostawcy może dominować czas wydania:

pnpm test:live:media video --video-providers fal

Ustaw OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, aby uruchomić także zadeklarowane tryby transformacji, które wspólny przebieg może bezpiecznie wykonać z mediami lokalnymi:

• imageToVideo, gdy capabilities.imageToVideo.enabled.
• videoToVideo, gdy capabilities.videoToVideo.enabled i dostawca/model akceptuje wejściowe lokalne wideo oparte na buforze we wspólnym przebiegu.

Obecnie wspólna ścieżka live videoToVideo obejmuje runway tylko wtedy, gdy wybierzesz runway/gen4_aleph.

# Konfiguracja

Ustaw domyślny model generowania wideo w konfiguracji OpenClaw:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Albo przez CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Powiązane

• Alibaba Model Studio
• Zadania w tle - śledzenie zadań dla asynchronicznego generowania wideo
• BytePlus
• ComfyUI
• Odwołanie konfiguracji
• fal
• Google (Gemini)
• MiniMax
• Modele
• OpenAI
• Qwen
• Runway
• Together AI
• Przegląd narzędzi
• Vydra
• xAI