Tools
Müzik oluşturma
music_generate aracı, ajanın yapılandırılmış sağlayıcılarla ortak müzik üretme yeteneği üzerinden müzik veya ses oluşturmasını sağlar — bugün Google, MiniMax ve workflow ile yapılandırılmış ComfyUI.
Oturum destekli ajan çalıştırmaları için OpenClaw, müzik üretimini bir arka plan görevi olarak başlatır, görev defterinde izler, ardından parça hazır olduğunda ajanı tekrar uyandırır; böylece ajan kullanıcıya haber verebilir ve tamamlanan sesi ekleyebilir. Yalnızca mesaj aracıyla görünür teslim kullanan grup/kanal sohbetlerinde ajan sonucu mesaj aracı üzerinden iletir. Tamamlama ajanı yalnızca özel bir nihai yanıt yazarsa OpenClaw, üretilen medyayla doğrudan kanal gönderimine geri döner. Tamamlama uyandırması, ajana bu rotalarda normal nihai yanıtların özel olduğunu açıkça bildirir.
Hızlı başlangıç
Shared provider-backed
Configure auth
En az bir sağlayıcı için bir API anahtarı ayarlayın — örneğin GEMINI_API_KEY veya MINIMAX_API_KEY.
Pick a default model (optional)
{
agents: {
defaults: {
musicGenerationModel: {
primary: "google/lyria-3-clip-preview",
},
},
},
}
Ask the agent
"Generate an upbeat synthpop track about a night drive through a neon city."
Ajan music_generate öğesini otomatik olarak çağırır. Araç allow-list'e ekleme gerekmez.
Oturum destekli bir ajan çalıştırması olmayan doğrudan senkron bağlamlarda, yerleşik araç yine de satır içi üretime geri döner ve araç sonucunda nihai medya yolunu döndürür.
ComfyUI workflow
Configure the workflow
plugins.entries.comfy.config.music öğesini bir workflow JSON'u ve prompt/çıktı düğümleriyle yapılandırın.
Cloud auth (optional)
Comfy Cloud için COMFY_API_KEY veya COMFY_CLOUD_API_KEY ayarlayın.
Call the tool
/tool music_generate prompt="Warm ambient synth loop with soft tape texture"
Örnek prompt'lar:
Generate a cinematic piano track with soft strings and no vocals.
Generate an energetic chiptune loop about launching a rocket at sunrise.
Desteklenen sağlayıcılar
| Sağlayıcı | Varsayılan model | Referans girişler | Desteklenen kontroller | Kimlik doğrulama |
|---|---|---|---|---|
| ComfyUI | workflow |
En fazla 1 görsel | Workflow tarafından tanımlanan müzik veya ses | COMFY_API_KEY, COMFY_CLOUD_API_KEY |
lyria-3-clip-preview |
En fazla 10 görsel | lyrics, instrumental, format |
GEMINI_API_KEY, GOOGLE_API_KEY |
|
| MiniMax | music-2.6 |
Yok | lyrics, instrumental, durationSeconds, format=mp3 |
MINIMAX_API_KEY veya MiniMax OAuth |
Yetenek matrisi
music_generate, sözleşme testleri ve ortak canlı tarama tarafından kullanılan açık mod sözleşmesi:
| Sağlayıcı | generate |
edit |
Düzenleme sınırı | Ortak canlı şeritler |
|---|---|---|---|---|
| ComfyUI | ✓ | ✓ | 1 görsel | Ortak taramada değil; extensions/comfy/comfy.live.test.ts tarafından kapsanır |
| ✓ | ✓ | 10 görsel | generate, edit |
|
| MiniMax | ✓ | — | Yok | generate |
Çalışma zamanında mevcut ortak sağlayıcıları ve modelleri incelemek için action: "list" kullanın:
/tool music_generate action=list
Etkin oturum destekli müzik görevini incelemek için action: "status" kullanın:
/tool music_generate action=status
Doğrudan üretim örneği:
/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true
Araç parametreleri
promptstringrequiredMüzik üretme prompt'u. action: "generate" için gereklidir.
action"generate" | "status" | "list""status" mevcut oturum görevini döndürür; "list" sağlayıcıları inceler.
modelstringSağlayıcı/model geçersiz kılması (örn. google/lyria-3-pro-preview, comfy/workflow).
lyricsstringSağlayıcı açık şarkı sözü girişini desteklediğinde isteğe bağlı şarkı sözleri.
instrumentalbooleanSağlayıcı desteklediğinde yalnızca enstrümantal çıktı isteyin.
imagestringTek referans görsel yolu veya URL'si.
imagesstring[]Birden çok referans görsel (destekleyen sağlayıcılarda en fazla 10).
durationSecondsnumberSağlayıcı süre ipuçlarını desteklediğinde saniye cinsinden hedef süre.
format"mp3" | "wav"Sağlayıcı desteklediğinde çıktı biçimi ipucu.
filenamestringtimeoutMsnumberAsenkron davranış
Oturum destekli müzik üretimi arka plan görevi olarak çalışır:
- Arka plan görevi:
music_generatebir arka plan görevi oluşturur, başlatıldı/görev yanıtını hemen döndürür ve tamamlanan parçayı daha sonra takip eden bir ajan mesajında gönderir. - Yinelenenleri önleme: Bir görev
queuedveyarunningdurumundayken, aynı oturumdaki sonrakimusic_generateçağrıları başka bir üretim başlatmak yerine görev durumunu döndürür. Açıkça kontrol etmek içinaction: "status"kullanın. - Durum arama:
openclaw tasks listveyaopenclaw tasks show <taskId>kuyrukta, çalışıyor ve terminal durumlarını inceler. - Tamamlama uyandırması: OpenClaw, modelin kullanıcıya dönük takip mesajını kendisinin yazabilmesi için aynı oturuma dahili bir tamamlama olayı enjekte eder.
- Prompt ipucu: Aynı oturumdaki sonraki kullanıcı/manuel turlar, bir müzik görevi zaten devam ediyorsa küçük bir çalışma zamanı ipucu alır; böylece model körü körüne tekrar
music_generateçağırmaz. - Oturumsuz geri dönüş: Gerçek bir ajan oturumu olmayan doğrudan/yerel bağlamlar satır içi çalışır ve nihai ses sonucunu aynı turda döndürür.
Görev yaşam döngüsü
| Durum | Anlam |
|---|---|
queued |
Görev oluşturuldu, sağlayıcının kabul etmesini bekliyor. |
running |
Sağlayıcı işliyor (sağlayıcıya ve süreye bağlı olarak genellikle 30 saniye ile 3 dakika). |
succeeded |
Parça hazır; ajan uyanır ve onu konuşmaya gönderir. |
failed |
Sağlayıcı hatası veya zaman aşımı; ajan hata ayrıntılarıyla uyanır. |
CLI'dan durumu kontrol edin:
openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>
Yapılandırma
Model seçimi
{
agents: {
defaults: {
musicGenerationModel: {
primary: "google/lyria-3-clip-preview",
fallbacks: ["minimax/music-2.6"],
},
},
},
}
Sağlayıcı seçim sırası
OpenClaw sağlayıcıları şu sırayla dener:
- Araç çağrısından
modelparametresi (ajan bir tane belirtirse). - Yapılandırmadan
musicGenerationModel.primary. - Sırayla
musicGenerationModel.fallbacks. - Yalnızca kimlik doğrulama destekli sağlayıcı varsayılanlarıyla otomatik algılama:
- önce mevcut varsayılan sağlayıcı;
- kalan kayıtlı müzik üretme sağlayıcıları, sağlayıcı kimliği sırasına göre.
Bir sağlayıcı başarısız olursa sonraki aday otomatik olarak denenir. Tümü başarısız olursa hata her denemeden ayrıntılar içerir.
Yalnızca açık model, primary ve fallbacks girişlerini kullanmak için agents.defaults.mediaGenerationAutoProviderFallback: false ayarlayın.
Sağlayıcı notları
ComfyUI
Workflow odaklıdır ve prompt/çıktı alanları için yapılandırılmış grafiğe ve düğüm eşlemesine bağlıdır. Paketlenen comfy Plugin, müzik üretme sağlayıcı kayıt defteri üzerinden ortak music_generate aracına bağlanır.
Google (Lyria 3)
Lyria 3 toplu üretimini kullanır. Mevcut paketlenmiş akış prompt'u, isteğe bağlı şarkı sözü metnini ve isteğe bağlı referans görselleri destekler.
MiniMax
Toplu music_generation endpoint'ini kullanır. minimax API anahtarı kimlik doğrulaması veya minimax-portal OAuth üzerinden prompt, isteğe bağlı şarkı sözleri, enstrümantal mod, süre yönlendirme ve mp3 çıktısını destekler.
Doğru yolu seçme
- Ortak sağlayıcı destekli: Model seçimi, sağlayıcı failover'ı ve yerleşik asenkron görev/durum akışı istediğinizde.
- Plugin yolu (ComfyUI): Özel bir workflow grafiğine veya ortak paketlenmiş müzik yeteneğinin parçası olmayan bir sağlayıcıya ihtiyacınız olduğunda.
ComfyUI'ye özgü davranışta hata ayıklıyorsanız bkz. ComfyUI. Ortak sağlayıcı davranışında hata ayıklıyorsanız Google (Gemini) veya MiniMax ile başlayın.
Sağlayıcı yetenek modları
Ortak müzik üretme sözleşmesi açık mod bildirimlerini destekler:
- Yalnızca prompt ile üretim için
generate. - İstek bir veya daha fazla referans görsel içerdiğinde
edit.
Yeni sağlayıcı uygulamaları açık mod bloklarını tercih etmelidir:
capabilities: {
generate: {
maxTracks: 1,
supportsLyrics: true,
supportsFormat: true,
},
edit: {
enabled: true,
maxTracks: 1,
maxInputImages: 1,
supportsFormat: true,
},
}
maxInputImages, supportsLyrics ve supportsFormat gibi eski düz alanlar düzenleme desteğini duyurmak için yeterli değildir. Sağlayıcılar generate ve edit öğelerini açıkça bildirmelidir; böylece canlı testler, sözleşme testleri ve ortak music_generate aracı mod desteğini deterministik olarak doğrulayabilir.
Canlı testler
Ortak paketlenmiş sağlayıcılar için isteğe bağlı canlı kapsam:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
Repo sarmalayıcısı:
pnpm test:live:media music
Bu canlı dosya eksik sağlayıcı env değişkenlerini ~/.profile öğesinden yükler, varsayılan olarak canlı/env API anahtarlarını depolanmış kimlik doğrulama profillerinin önüne alır ve sağlayıcı düzenleme modunu etkinleştirdiğinde hem generate hem de bildirilen edit kapsamını çalıştırır. Bugünkü kapsam:
google:generateartıeditminimax: yalnızcageneratecomfy: paylaşılan sağlayıcı taraması değil, ayrı Comfy canlı kapsamı
Paketle gelen ComfyUI müzik yolu için isteğe bağlı canlı kapsam:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Comfy canlı dosyası, bu bölümler yapılandırıldığında comfy görüntü ve video iş akışlarını da kapsar.
İlgili
- Arka plan görevleri — ayrılmış
music_generateçalıştırmaları için görev takibi - ComfyUI
- Yapılandırma referansı —
musicGenerationModelyapılandırması - Google (Gemini)
- MiniMax
- Modeller — model yapılandırması ve yük devretme
- Araçlara genel bakış