Videogenerierung

Referenzeingaben wählen den Laufzeitmodus aus:

• Keine Referenzmedien → generate
• Beliebige Bildreferenz → imageToVideo
• Beliebige Videoreferenz → videoToVideo
• Referenzaudio-Eingaben ändern den aufgelösten Modus nicht; sie werden zusätzlich zu dem Modus angewendet, den die Bild-/Videoreferenzen auswählen, und funktionieren nur mit Providern, die maxInputAudios deklarieren.

Gemischte Bild- und Videoreferenzen sind keine stabile gemeinsame Fähigkeitsoberfläche. Bevorzugen Sie pro Anfrage einen Referenztyp.

# Fallback und typisierte Optionen

Einige Fähigkeitsprüfungen werden auf der Fallback-Ebene statt an der Tool-Grenze angewendet, sodass eine Anfrage, die die Grenzen des primären Providers überschreitet, dennoch auf einem geeigneten Fallback ausgeführt werden kann:

• Ein aktiver Kandidat, der kein maxInputAudios (oder 0) deklariert, wird übersprungen, wenn die Anfrage Audioreferenzen enthält; der nächste Kandidat wird versucht.
• maxDurationSeconds des aktiven Kandidaten liegt unter dem angeforderten durationSeconds und es gibt keine deklarierte Liste supportedDurationSeconds → übersprungen.
• Die Anfrage enthält providerOptions und der aktive Kandidat deklariert explizit ein typisiertes providerOptions-Schema → wird übersprungen, wenn bereitgestellte Schlüssel nicht im Schema enthalten sind oder Werttypen nicht übereinstimmen. Provider ohne deklariertes Schema erhalten Optionen unverändert (rückwärtskompatible Durchleitung). Ein Provider kann alle Provider-Optionen ablehnen, indem er ein leeres Schema deklariert (capabilities.providerOptions: {}), was zum gleichen Überspringen führt wie eine Typabweichung.

Der erste Überspringgrund in einer Anfrage wird mit warn protokolliert, damit Betreiber sehen, wenn ihr primärer Provider übergangen wurde; nachfolgende Überspringvorgänge werden mit debug protokolliert, um lange Fallback-Ketten ruhig zu halten. Wenn jeder Kandidat übersprungen wird, enthält der aggregierte Fehler den Überspringgrund für jeden Kandidaten.

# Aktionen

# Modellauswahl

OpenClaw löst das Modell in dieser Reihenfolge auf:

1. model-Tool-Parameter - falls der Agent im Aufruf einen angibt.
2. videoGenerationModel.primary aus der Konfiguration.
3. videoGenerationModel.fallbacks der Reihe nach.
4. Automatische Erkennung - Provider mit gültiger Authentifizierung, beginnend mit dem aktuellen Standard-Provider, danach die verbleibenden Provider in alphabetischer Reihenfolge.

Wenn ein Provider fehlschlägt, wird automatisch der nächste Kandidat versucht. Wenn alle Kandidaten fehlschlagen, enthält der Fehler Details aus jedem Versuch.

Setzen Sie agents.defaults.mediaGenerationAutoProviderFallback: false, um nur die expliziten Einträge model, primary und fallbacks zu verwenden.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Provider-Hinweise

# Provider-Fähigkeitsmodi

Der gemeinsame Vertrag für die Videogenerierung unterstützt modusspezifische Fähigkeiten statt nur flacher aggregierter Grenzwerte. Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Flache Aggregatfelder wie maxInputImages und maxInputVideos reichen nicht aus, um Unterstützung für Transformationsmodi anzugeben. Provider sollten generate, imageToVideo und videoToVideo explizit deklarieren, damit Live- Tests, Vertragstests und das gemeinsame Tool video_generate die Modusunterstützung deterministisch validieren können.

Wenn ein Modell in einem Provider eine breitere Unterstützung für Referenzeingaben hat als die übrigen, verwenden Sie maxInputImagesByModel, maxInputVideosByModel oder maxInputAudiosByModel, statt den modusweiten Grenzwert zu erhöhen.

# Live-Tests

Opt-in-Live-Abdeckung für die gemeinsamen gebündelten Provider:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repository-Wrapper:

pnpm test:live:media video

Diese Live-Datei lädt fehlende Provider-Umgebungsvariablen aus ~/.profile, bevorzugt standardmäßig Live-/Umgebungs-API-Schlüssel vor gespeicherten Authentifizierungsprofilen und führt standardmäßig einen release-sicheren Smoke-Test aus:

• generate für jeden Nicht-FAL-Provider im Durchlauf.
• Einsekündiger Lobster-Prompt.
• Operationsbegrenzung pro Provider aus OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standardmäßig 180000).

FAL ist opt-in, weil die warteschlangenseitige Latenz beim Provider die Release- Zeit dominieren kann:

pnpm test:live:media video --video-providers fal

Setzen Sie OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, um auch deklarierte Transformationsmodi auszuführen, die der gemeinsame Durchlauf mit lokalen Medien sicher ausüben kann:

• imageToVideo, wenn capabilities.imageToVideo.enabled.
• videoToVideo, wenn capabilities.videoToVideo.enabled und der Provider/das Modell pufferbasierte lokale Videoeingaben im gemeinsamen Durchlauf akzeptiert.

Der gemeinsame videoToVideo-Live-Lauf deckt derzeit runway nur ab, wenn Sie runway/gen4_aleph auswählen.

# Konfiguration

Legen Sie das Standardmodell für die Videogenerierung in Ihrer OpenClaw-Konfiguration fest:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Oder über die CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Verwandte Themen

• Alibaba Model Studio
• Hintergrundaufgaben - Aufgabenverfolgung für asynchrone Videogenerierung
• BytePlus
• ComfyUI
• Konfigurationsreferenz
• fal
• Google (Gemini)
• MiniMax
• Modelle
• OpenAI
• Qwen
• Runway
• Together AI
• Tools-Übersicht
• Vydra
• xAI