Tools

Müzik oluşturma

music_generate aracı, ajanın yapılandırılmış sağlayıcılarla ortak müzik üretme yeteneği üzerinden müzik veya ses oluşturmasını sağlar — bugün Google, MiniMax ve workflow ile yapılandırılmış ComfyUI.

Oturum destekli ajan çalıştırmaları için OpenClaw, müzik üretimini bir arka plan görevi olarak başlatır, görev defterinde izler, ardından parça hazır olduğunda ajanı tekrar uyandırır; böylece ajan kullanıcıya haber verebilir ve tamamlanan sesi ekleyebilir. Yalnızca mesaj aracıyla görünür teslim kullanan grup/kanal sohbetlerinde ajan sonucu mesaj aracı üzerinden iletir. Tamamlama ajanı yalnızca özel bir nihai yanıt yazarsa OpenClaw, üretilen medyayla doğrudan kanal gönderimine geri döner. Tamamlama uyandırması, ajana bu rotalarda normal nihai yanıtların özel olduğunu açıkça bildirir.

Hızlı başlangıç

Shared provider-backed

  • Configure auth

    En az bir sağlayıcı için bir API anahtarı ayarlayın — örneğin GEMINI_API_KEY veya MINIMAX_API_KEY.

  • Pick a default model (optional)

    {
      agents: {
        defaults: {
          musicGenerationModel: {
            primary: "google/lyria-3-clip-preview",
          },
        },
      },
    }
    
  • Ask the agent

    "Generate an upbeat synthpop track about a night drive through a neon city."

    Ajan music_generate öğesini otomatik olarak çağırır. Araç allow-list'e ekleme gerekmez.

  • Oturum destekli bir ajan çalıştırması olmayan doğrudan senkron bağlamlarda, yerleşik araç yine de satır içi üretime geri döner ve araç sonucunda nihai medya yolunu döndürür.

    ComfyUI workflow

  • Configure the workflow

    plugins.entries.comfy.config.music öğesini bir workflow JSON'u ve prompt/çıktı düğümleriyle yapılandırın.

  • Cloud auth (optional)

    Comfy Cloud için COMFY_API_KEY veya COMFY_CLOUD_API_KEY ayarlayın.

  • Call the tool

    /tool music_generate prompt="Warm ambient synth loop with soft tape texture"
    
  • Örnek prompt'lar:

    Generate a cinematic piano track with soft strings and no vocals.
    
    Generate an energetic chiptune loop about launching a rocket at sunrise.
    

    Desteklenen sağlayıcılar

    Sağlayıcı Varsayılan model Referans girişler Desteklenen kontroller Kimlik doğrulama
    ComfyUI workflow En fazla 1 görsel Workflow tarafından tanımlanan müzik veya ses COMFY_API_KEY, COMFY_CLOUD_API_KEY
    Google lyria-3-clip-preview En fazla 10 görsel lyrics, instrumental, format GEMINI_API_KEY, GOOGLE_API_KEY
    MiniMax music-2.6 Yok lyrics, instrumental, durationSeconds, format=mp3 MINIMAX_API_KEY veya MiniMax OAuth

    Yetenek matrisi

    music_generate, sözleşme testleri ve ortak canlı tarama tarafından kullanılan açık mod sözleşmesi:

    Sağlayıcı generate edit Düzenleme sınırı Ortak canlı şeritler
    ComfyUI 1 görsel Ortak taramada değil; extensions/comfy/comfy.live.test.ts tarafından kapsanır
    Google 10 görsel generate, edit
    MiniMax Yok generate

    Çalışma zamanında mevcut ortak sağlayıcıları ve modelleri incelemek için action: "list" kullanın:

    /tool music_generate action=list
    

    Etkin oturum destekli müzik görevini incelemek için action: "status" kullanın:

    /tool music_generate action=status
    

    Doğrudan üretim örneği:

    /tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true
    

    Araç parametreleri

    promptstringrequired

    Müzik üretme prompt'u. action: "generate" için gereklidir.

    action"generate" | "status" | "list"

    "status" mevcut oturum görevini döndürür; "list" sağlayıcıları inceler.

    modelstring

    Sağlayıcı/model geçersiz kılması (örn. google/lyria-3-pro-preview, comfy/workflow).

    lyricsstring

    Sağlayıcı açık şarkı sözü girişini desteklediğinde isteğe bağlı şarkı sözleri.

    instrumentalboolean

    Sağlayıcı desteklediğinde yalnızca enstrümantal çıktı isteyin.

    imagestring

    Tek referans görsel yolu veya URL'si.

    imagesstring[]

    Birden çok referans görsel (destekleyen sağlayıcılarda en fazla 10).

    durationSecondsnumber

    Sağlayıcı süre ipuçlarını desteklediğinde saniye cinsinden hedef süre.

    format"mp3" | "wav"

    Sağlayıcı desteklediğinde çıktı biçimi ipucu.

    filenamestring
    timeoutMsnumber

    Asenkron davranış

    Oturum destekli müzik üretimi arka plan görevi olarak çalışır:

    • Arka plan görevi: music_generate bir arka plan görevi oluşturur, başlatıldı/görev yanıtını hemen döndürür ve tamamlanan parçayı daha sonra takip eden bir ajan mesajında gönderir.
    • Yinelenenleri önleme: Bir görev queued veya running durumundayken, aynı oturumdaki sonraki music_generate çağrıları başka bir üretim başlatmak yerine görev durumunu döndürür. Açıkça kontrol etmek için action: "status" kullanın.
    • Durum arama: openclaw tasks list veya openclaw tasks show <taskId> kuyrukta, çalışıyor ve terminal durumlarını inceler.
    • Tamamlama uyandırması: OpenClaw, modelin kullanıcıya dönük takip mesajını kendisinin yazabilmesi için aynı oturuma dahili bir tamamlama olayı enjekte eder.
    • Prompt ipucu: Aynı oturumdaki sonraki kullanıcı/manuel turlar, bir müzik görevi zaten devam ediyorsa küçük bir çalışma zamanı ipucu alır; böylece model körü körüne tekrar music_generate çağırmaz.
    • Oturumsuz geri dönüş: Gerçek bir ajan oturumu olmayan doğrudan/yerel bağlamlar satır içi çalışır ve nihai ses sonucunu aynı turda döndürür.

    Görev yaşam döngüsü

    Durum Anlam
    queued Görev oluşturuldu, sağlayıcının kabul etmesini bekliyor.
    running Sağlayıcı işliyor (sağlayıcıya ve süreye bağlı olarak genellikle 30 saniye ile 3 dakika).
    succeeded Parça hazır; ajan uyanır ve onu konuşmaya gönderir.
    failed Sağlayıcı hatası veya zaman aşımı; ajan hata ayrıntılarıyla uyanır.

    CLI'dan durumu kontrol edin:

    openclaw tasks list
    openclaw tasks show <taskId>
    openclaw tasks cancel <taskId>
    

    Yapılandırma

    Model seçimi

    {
      agents: {
        defaults: {
          musicGenerationModel: {
            primary: "google/lyria-3-clip-preview",
            fallbacks: ["minimax/music-2.6"],
          },
        },
      },
    }
    

    Sağlayıcı seçim sırası

    OpenClaw sağlayıcıları şu sırayla dener:

    1. Araç çağrısından model parametresi (ajan bir tane belirtirse).
    2. Yapılandırmadan musicGenerationModel.primary.
    3. Sırayla musicGenerationModel.fallbacks.
    4. Yalnızca kimlik doğrulama destekli sağlayıcı varsayılanlarıyla otomatik algılama:
      • önce mevcut varsayılan sağlayıcı;
      • kalan kayıtlı müzik üretme sağlayıcıları, sağlayıcı kimliği sırasına göre.

    Bir sağlayıcı başarısız olursa sonraki aday otomatik olarak denenir. Tümü başarısız olursa hata her denemeden ayrıntılar içerir.

    Yalnızca açık model, primary ve fallbacks girişlerini kullanmak için agents.defaults.mediaGenerationAutoProviderFallback: false ayarlayın.

    Sağlayıcı notları

    ComfyUI

    Workflow odaklıdır ve prompt/çıktı alanları için yapılandırılmış grafiğe ve düğüm eşlemesine bağlıdır. Paketlenen comfy Plugin, müzik üretme sağlayıcı kayıt defteri üzerinden ortak music_generate aracına bağlanır.

    Google (Lyria 3)

    Lyria 3 toplu üretimini kullanır. Mevcut paketlenmiş akış prompt'u, isteğe bağlı şarkı sözü metnini ve isteğe bağlı referans görselleri destekler.

    MiniMax

    Toplu music_generation endpoint'ini kullanır. minimax API anahtarı kimlik doğrulaması veya minimax-portal OAuth üzerinden prompt, isteğe bağlı şarkı sözleri, enstrümantal mod, süre yönlendirme ve mp3 çıktısını destekler.

    Doğru yolu seçme

    • Ortak sağlayıcı destekli: Model seçimi, sağlayıcı failover'ı ve yerleşik asenkron görev/durum akışı istediğinizde.
    • Plugin yolu (ComfyUI): Özel bir workflow grafiğine veya ortak paketlenmiş müzik yeteneğinin parçası olmayan bir sağlayıcıya ihtiyacınız olduğunda.

    ComfyUI'ye özgü davranışta hata ayıklıyorsanız bkz. ComfyUI. Ortak sağlayıcı davranışında hata ayıklıyorsanız Google (Gemini) veya MiniMax ile başlayın.

    Sağlayıcı yetenek modları

    Ortak müzik üretme sözleşmesi açık mod bildirimlerini destekler:

    • Yalnızca prompt ile üretim için generate.
    • İstek bir veya daha fazla referans görsel içerdiğinde edit.

    Yeni sağlayıcı uygulamaları açık mod bloklarını tercih etmelidir:

    capabilities: {
      generate: {
        maxTracks: 1,
        supportsLyrics: true,
        supportsFormat: true,
      },
      edit: {
        enabled: true,
        maxTracks: 1,
        maxInputImages: 1,
        supportsFormat: true,
      },
    }
    

    maxInputImages, supportsLyrics ve supportsFormat gibi eski düz alanlar düzenleme desteğini duyurmak için yeterli değildir. Sağlayıcılar generate ve edit öğelerini açıkça bildirmelidir; böylece canlı testler, sözleşme testleri ve ortak music_generate aracı mod desteğini deterministik olarak doğrulayabilir.

    Canlı testler

    Ortak paketlenmiş sağlayıcılar için isteğe bağlı canlı kapsam:

    OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
    

    Repo sarmalayıcısı:

    pnpm test:live:media music
    

    Bu canlı dosya eksik sağlayıcı env değişkenlerini ~/.profile öğesinden yükler, varsayılan olarak canlı/env API anahtarlarını depolanmış kimlik doğrulama profillerinin önüne alır ve sağlayıcı düzenleme modunu etkinleştirdiğinde hem generate hem de bildirilen edit kapsamını çalıştırır. Bugünkü kapsam:

    • google: generate artı edit
    • minimax: yalnızca generate
    • comfy: paylaşılan sağlayıcı taraması değil, ayrı Comfy canlı kapsamı

    Paketle gelen ComfyUI müzik yolu için isteğe bağlı canlı kapsam:

    OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
    

    Comfy canlı dosyası, bu bölümler yapılandırıldığında comfy görüntü ve video iş akışlarını da kapsar.

    İlgili