Генерація музики

# Асинхронна поведінка

Генерація музики з підтримкою сесії виконується як фонове завдання:

• Фонове завдання: music_generate створює фонове завдання, одразу повертає відповідь про запуск/завдання, а пізніше публікує готовий трек у подальшому повідомленні агента.
• Запобігання дублюванню: доки завдання має стан queued або running, наступні виклики music_generate у тій самій сесії повертають статус завдання замість запуску ще однієї генерації. Використовуйте action: "status" для явної перевірки.
• Перегляд статусу: openclaw tasks list або openclaw tasks show <taskId> перевіряє статуси queued, running і terminal.
• Пробудження після завершення: OpenClaw вставляє внутрішню подію завершення назад у ту саму сесію, щоб модель могла сама написати follow-up для користувача.
• Підказка prompt: пізніші користувацькі/ручні ходи в тій самій сесії отримують невелику runtime-підказку, коли музичне завдання вже виконується, щоб модель не викликала music_generate знову без потреби.
• Fallback без сесії: прямі/локальні контексти без реальної сесії агента виконуються inline і повертають кінцевий аудіорезультат у тому самому ході.

# Життєвий цикл завдання

Перевірте статус із CLI:

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

# Конфігурація

# Вибір моделі

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

# Порядок вибору провайдера

OpenClaw пробує провайдерів у такому порядку:

1. Параметр model із виклику інструмента (якщо агент його вказує).
2. musicGenerationModel.primary з конфігурації.
3. musicGenerationModel.fallbacks по порядку.
4. Автовизначення лише за стандартними провайдерами, підкріпленими автентифікацією:
   • спочатку поточний стандартний провайдер;
   • решта зареєстрованих провайдерів генерації музики за порядком ідентифікаторів провайдерів.

Якщо провайдер не спрацьовує, наступний кандидат пробується автоматично. Якщо всі спроби невдалі, помилка містить подробиці кожної спроби.

Установіть agents.defaults.mediaGenerationAutoProviderFallback: false, щоб використовувати лише явні записи model, primary і fallbacks.

# Примітки щодо провайдерів

# Вибір правильного шляху

• Спільний шлях на базі провайдерів, коли потрібні вибір моделі, резервне перемикання провайдера та вбудований асинхронний потік завдань/статусу.
• Шлях Plugin (ComfyUI), коли потрібен власний граф робочого процесу або провайдер, що не входить до спільної вбудованої можливості для музики.

Якщо ви налагоджуєте поведінку, специфічну для ComfyUI, див. ComfyUI. Якщо ви налагоджуєте спільну поведінку провайдера, почніть із Google (Gemini) або MiniMax.

# Режими можливостей провайдера

Спільний контракт генерації музики підтримує явні оголошення режимів:

• generate для генерації лише за prompt.
• edit, коли запит містить одне або більше еталонних зображень.

Нові реалізації провайдерів мають надавати перевагу явним блокам режимів:

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

Застарілих плоских полів, таких як maxInputImages, supportsLyrics і supportsFormat, недостатньо для оголошення підтримки редагування. Провайдери мають явно оголошувати generate і edit, щоб live-тести, контрактні тести та спільний інструмент music_generate могли детерміновано перевіряти підтримку режимів.

# Live-тести

Live-покриття, яке вмикається вручну, для спільних вбудованих провайдерів:

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

Обгортка репозиторію:

pnpm test:live:media music

Цей live-файл завантажує відсутні env-змінні провайдера з ~/.profile, за замовчуванням надає перевагу live/env API-ключам перед збереженими профілями автентифікації та запускає покриття як generate, так і оголошеного edit, коли провайдер вмикає режим редагування. Поточне покриття:

• google: generate плюс edit
• minimax: лише generate
• comfy: окреме живе покриття Comfy, не спільна перевірка провайдера

Опційне живе покриття для вбудованого музичного шляху ComfyUI:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Файл живих тестів Comfy також охоплює робочі процеси зображень і відео comfy, коли ці розділи налаштовано.

# Пов’язане

• Фонові завдання — відстеження завдань для відокремлених запусків music_generate
• ComfyUI
• Довідник конфігурації — конфігурація musicGenerationModel
• Google (Gemini)
• MiniMax
• Моделі — конфігурація моделей і відновлення після збоїв
• Огляд інструментів