Videogeneratie

Referentie-invoer selecteert de runtimemodus:

• Geen referentiemedia → generate
• Enige afbeeldingsreferentie → imageToVideo
• Enige videoreferentie → videoToVideo
• Referentie-audio-invoer wijzigt niet de opgeloste modus; deze wordt toegepast boven op welke modus de afbeeldings-/videoreferenties ook selecteren, en werkt alleen met providers die maxInputAudios declareren.

Gemengde afbeeldings- en videoreferenties zijn geen stabiel gedeeld capaciteitsoppervlak. Gebruik bij voorkeur één referentietype per verzoek.

# Fallback en getypte opties

Sommige capaciteitscontroles worden toegepast in de fallbacklaag in plaats van aan de toolgrens, zodat een verzoek dat de limieten van de primaire provider overschrijdt nog steeds kan draaien op een geschikte fallback:

• Actieve kandidaat die geen maxInputAudios (of 0) declareert, wordt overgeslagen wanneer het verzoek audioreferenties bevat; de volgende kandidaat wordt geprobeerd.
• maxDurationSeconds van actieve kandidaat ligt onder de aangevraagde durationSeconds zonder gedeclareerde lijst supportedDurationSeconds → overgeslagen.
• Verzoek bevat providerOptions en de actieve kandidaat declareert expliciet een getypt providerOptions-schema → overgeslagen als aangeleverde sleutels niet in het schema staan of waardetypen niet overeenkomen. Providers zonder een gedeclareerd schema ontvangen opties ongewijzigd (achterwaarts compatibele passthrough). Een provider kan alle provideropties uitschakelen door een leeg schema te declareren (capabilities.providerOptions: {}), wat dezelfde overslag veroorzaakt als een typemismatch.

De eerste overslagreden in een verzoek wordt op warn gelogd zodat operators zien wanneer hun primaire provider is overgeslagen; daaropvolgende overslagen worden op debug gelogd om lange fallbackketens stil te houden. Als elke kandidaat wordt overgeslagen, bevat de geaggregeerde fout de overslagreden voor elke kandidaat.

# Acties

# Modelselectie

OpenClaw lost het model in deze volgorde op:

1. model-toolparameter - als de agent er een opgeeft in de aanroep.
2. videoGenerationModel.primary uit de configuratie.
3. videoGenerationModel.fallbacks op volgorde.
4. Automatische detectie - providers met geldige auth, beginnend met de huidige standaardprovider, daarna de resterende providers in alfabetische volgorde.

Als een provider faalt, wordt de volgende kandidaat automatisch geprobeerd. Als alle kandidaten falen, bevat de fout details van elke poging.

Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen de expliciete items model, primary en fallbacks te gebruiken.

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "google/veo-3.1-fast-generate-preview",
        fallbacks: ["runway/gen4.5", "qwen/wan2.6-t2v"],
      },
    },
  },
}

# Providernotities

# Mogelijkheidsmodi voor providers

Het gedeelde contract voor videogeneratie ondersteunt modusspecifieke mogelijkheden in plaats van alleen platte geaggregeerde limieten. Nieuwe providerimplementaties moeten de voorkeur geven aan expliciete modusblokken:

capabilities: {
  generate: {
    maxVideos: 1,
    maxDurationSeconds: 10,
    supportsResolution: true,
  },
  imageToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputImages: 1,
    maxInputImagesByModel: { "provider/reference-to-video": 9 },
    maxDurationSeconds: 5,
  },
  videoToVideo: {
    enabled: true,
    maxVideos: 1,
    maxInputVideos: 1,
    maxDurationSeconds: 5,
  },
}

Platte geaggregeerde velden zoals maxInputImages en maxInputVideos zijn niet genoeg om ondersteuning voor transformatiemodi te adverteren. Providers moeten generate, imageToVideo en videoToVideo expliciet declareren zodat live tests, contracttests en de gedeelde tool video_generate ondersteuning voor modi deterministisch kunnen valideren.

Wanneer één model in een provider bredere ondersteuning voor referentie-invoer heeft dan de rest, gebruik dan maxInputImagesByModel, maxInputVideosByModel of maxInputAudiosByModel in plaats van de modusbrede limiet te verhogen.

# Live tests

Opt-in live dekking voor de gedeelde meegeleverde providers:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts

Repo-wrapper:

pnpm test:live:media video

Dit live bestand laadt ontbrekende provider-omgevingsvariabelen uit ~/.profile, geeft standaard de voorkeur aan live/env-API-sleutels boven opgeslagen authenticatieprofielen en voert standaard een release-veilige rooktest uit:

• generate voor elke niet-FAL-provider in de sweep.
• Kreeftenprompt van één seconde.
• Operatielimiet per provider uit OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (standaard 180000).

FAL is opt-in omdat wachtrijlatentie aan providerzijde de releasetijd kan domineren:

pnpm test:live:media video --video-providers fal

Stel OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1 in om ook gedeclareerde transformatiemodi uit te voeren die de gedeelde sweep veilig met lokale media kan testen:

• imageToVideo wanneer capabilities.imageToVideo.enabled.
• videoToVideo wanneer capabilities.videoToVideo.enabled en de provider/het model buffer-ondersteunde lokale video-invoer in de gedeelde sweep accepteert.

Vandaag dekt de gedeelde live lane voor videoToVideo alleen runway wanneer je runway/gen4_aleph selecteert.

# Configuratie

Stel het standaardmodel voor videogeneratie in je OpenClaw-configuratie in:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "qwen/wan2.6-t2v",
        fallbacks: ["qwen/wan2.6-r2v-flash"],
      },
    },
  },
}

Of via de CLI:

openclaw config set agents.defaults.videoGenerationModel.primary "qwen/wan2.6-t2v"

# Gerelateerd

• Alibaba Model Studio
• Achtergrondtaken - taaktracking voor asynchrone videogeneratie
• BytePlus
• ComfyUI
• Configuratiereferentie
• fal
• Google (Gemini)
• MiniMax
• Modellen
• OpenAI
• Qwen
• Runway
• Together AI
• Tooloverzicht
• Vydra
• xAI