Pembuatan musik

# Perilaku asinkron

Pembuatan musik berbasis sesi berjalan sebagai tugas latar belakang:

• Tugas latar belakang: music_generate membuat tugas latar belakang, segera mengembalikan respons dimulai/tugas, dan memposting trek yang selesai nanti dalam pesan agen lanjutan.
• Pencegahan duplikasi: saat tugas berstatus queued atau running, panggilan music_generate berikutnya dalam sesi yang sama mengembalikan status tugas alih-alih memulai pembuatan lain. Gunakan action: "status" untuk memeriksa secara eksplisit.
• Pencarian status: openclaw tasks list atau openclaw tasks show <taskId> memeriksa status antrean, berjalan, dan terminal.
• Pemicu bangun penyelesaian: OpenClaw menyuntikkan event penyelesaian internal kembali ke sesi yang sama agar model dapat menulis tindak lanjut yang terlihat pengguna sendiri.
• Petunjuk prompt: giliran pengguna/manual berikutnya dalam sesi yang sama mendapatkan petunjuk runtime kecil ketika tugas musik sudah berjalan, sehingga model tidak memanggil music_generate lagi secara membabi buta.
• Fallback tanpa sesi: konteks langsung/lokal tanpa sesi agen nyata berjalan inline dan mengembalikan hasil audio akhir dalam giliran yang sama.

# Siklus hidup tugas

Periksa status dari CLI:

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

# Konfigurasi

# Pemilihan model

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

# Urutan pemilihan penyedia

OpenClaw mencoba penyedia dalam urutan ini:

1. Parameter model dari panggilan alat (jika agen menentukannya).
2. musicGenerationModel.primary dari konfigurasi.
3. musicGenerationModel.fallbacks secara berurutan.
4. Deteksi otomatis hanya menggunakan default penyedia yang didukung autentikasi:
   • penyedia default saat ini terlebih dahulu;
   • penyedia pembuatan musik terdaftar yang tersisa dalam urutan id penyedia.

Jika penyedia gagal, kandidat berikutnya dicoba secara otomatis. Jika semuanya gagal, error menyertakan detail dari setiap percobaan.

Tetapkan agents.defaults.mediaGenerationAutoProviderFallback: false untuk hanya menggunakan entri model, primary, dan fallbacks eksplisit.

# Catatan penyedia

# Memilih jalur yang tepat

• Didukung penyedia bersama ketika Anda menginginkan pemilihan model, failover penyedia, dan alur tugas/status asinkron bawaan.
• Jalur Plugin (ComfyUI) ketika Anda memerlukan graph alur kerja khusus atau penyedia yang bukan bagian dari kapabilitas musik bawaan bersama.

Jika Anda sedang men-debug perilaku khusus ComfyUI, lihat ComfyUI. Jika Anda sedang men-debug perilaku penyedia bersama, mulai dengan Google (Gemini) atau MiniMax.

# Mode kapabilitas penyedia

Kontrak pembuatan musik bersama mendukung deklarasi mode eksplisit:

• generate untuk pembuatan hanya dengan prompt.
• edit ketika permintaan menyertakan satu atau beberapa gambar referensi.

Implementasi penyedia baru sebaiknya mengutamakan blok mode eksplisit:

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

Bidang flat lama seperti maxInputImages, supportsLyrics, dan supportsFormat tidak cukup untuk mengiklankan dukungan edit. Penyedia harus mendeklarasikan generate dan edit secara eksplisit agar pengujian live, pengujian kontrak, dan alat music_generate bersama dapat memvalidasi dukungan mode secara deterministik.

# Pengujian live

Cakupan live opt-in untuk penyedia bawaan bersama:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Wrapper repo:

pnpm test:live:media music

File live ini memuat env var penyedia yang hilang dari ~/.profile, mengutamakan kunci API live/env daripada profil autentikasi tersimpan secara default, dan menjalankan cakupan generate serta edit yang dideklarasikan ketika penyedia mengaktifkan mode edit. Cakupan saat ini:

• google: generate dan edit
• minimax: hanya generate
• comfy: cakupan live Comfy terpisah, bukan sweep penyedia bersama

Cakupan live opt-in untuk jalur musik ComfyUI bawaan:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

File live Comfy juga mencakup alur kerja gambar dan video comfy ketika bagian-bagian tersebut dikonfigurasi.

# Terkait

• Tugas latar belakang — pelacakan tugas untuk proses music_generate yang dilepas
• ComfyUI
• Referensi konfigurasi — konfigurasi musicGenerationModel
• Google (Gemini)
• MiniMax
• Model — konfigurasi model dan failover
• Ikhtisar alat