Тестування: живі набори тестів

Швидкий старт, QA-запускачі, набори модульних/інтеграційних тестів і Docker-сценарії див. Тестування. Ця сторінка охоплює live (такі, що звертаються до мережі) тестові набори: матрицю моделей, CLI-бекенди, ACP і live-тести постачальників медіа, а також роботу з обліковими даними.

# Live: локальні smoke-команди профілю

Перед ad hoc live-перевірками виконайте source для ~/.profile, щоб ключі постачальників і локальні шляхи інструментів відповідали вашій оболонці:

source ~/.profile

Безпечний media smoke:

pnpm openclaw infer tts convert --local --json \
  --text "OpenClaw live smoke." \
  --output /tmp/openclaw-live-smoke.mp3

Безпечний smoke готовності голосових викликів:

pnpm openclaw voicecall setup --json
pnpm openclaw voicecall smoke --to "+15555550123"

voicecall smoke є пробним запуском, якщо також не передано --yes. Використовуйте --yes лише тоді, коли ви навмисно хочете здійснити реальний сповіщувальний дзвінок. Для Twilio, Telnyx і Plivo успішна перевірка готовності потребує публічної URL-адреси Webhook; лише локальні loopback/приватні резервні варіанти відхиляються за задумом.

# Live: перевірка можливостей Android Node

• Тест: src/gateway/android-node.capabilities.live.test.ts
• Скрипт: pnpm android:test:integration
• Мета: викликати кожну команду, яку наразі оголошує підключений Android Node, і перевірити поведінку контракту команди.
• Обсяг:
  • Попередньо підготовлене/ручне налаштування (набір тестів не встановлює/не запускає/не спарює застосунок).
  • Перевірка Gateway node.invoke для вибраного Android Node, команда за командою.
• Обов’язкове попереднє налаштування:
  • Android-застосунок уже підключений і спарений із Gateway.
  • Застосунок утримується на передньому плані.
  • Дозволи/згода на захоплення надані для можливостей, які ви очікуєте успішно пройти.
• Необов’язкові перевизначення цілі:
  • OPENCLAW_ANDROID_NODE_ID або OPENCLAW_ANDROID_NODE_NAME.
  • OPENCLAW_ANDROID_GATEWAY_URL / OPENCLAW_ANDROID_GATEWAY_TOKEN / OPENCLAW_ANDROID_GATEWAY_PASSWORD.
• Повні деталі налаштування Android: Android App

# Live: model smoke (ключі профілю)

Live-тести розділені на два шари, щоб ми могли ізолювати збої:

• "Direct model" показує, чи постачальник/модель узагалі може відповісти з наданим ключем.
• "Gateway smoke" показує, чи повний конвеєр gateway+agent працює для цієї моделі (сесії, історія, інструменти, політика sandbox тощо).

# Шар 1: безпосереднє завершення моделі (без Gateway)

• Тест: src/agents/models.profiles.live.test.ts
• Мета:
  • Перелічити виявлені моделі
  • Використати getApiKeyForModel, щоб вибрати моделі, для яких у вас є облікові дані
  • Запустити невелике завершення для кожної моделі (і цільові регресії, де потрібно)
• Як увімкнути:
  • pnpm test:live (або OPENCLAW_LIVE_TEST=1, якщо викликаєте Vitest напряму)
• Установіть OPENCLAW_LIVE_MODELS=modern (або all, псевдонім для modern), щоб фактично запустити цей набір; інакше він пропускається, щоб pnpm test:live залишався зосередженим на gateway smoke
• Як вибрати моделі:
  • OPENCLAW_LIVE_MODELS=modern, щоб запустити сучасний allowlist (Opus/Sonnet 4.6+, GPT-5.2 + Codex, Gemini 3, DeepSeek V4, GLM 4.7, MiniMax M2.7, Grok 4.3)
  • OPENCLAW_LIVE_MODELS=all є псевдонімом для сучасного allowlist
  • або OPENCLAW_LIVE_MODELS="openai/gpt-5.5,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,..." (allowlist через кому)
  • Modern/all перевірки за замовчуванням використовують curated high-signal cap; установіть OPENCLAW_LIVE_MAX_MODELS=0 для вичерпної modern-перевірки або додатне число для меншого обмеження.
  • Вичерпні перевірки використовують OPENCLAW_LIVE_TEST_TIMEOUT_MS для тайм-ауту всього direct-model тесту. За замовчуванням: 60 хвилин.
  • Direct-model проби за замовчуванням виконуються з паралелізмом 20; установіть OPENCLAW_LIVE_MODEL_CONCURRENCY, щоб перевизначити.
• Як вибрати постачальників:
  • OPENCLAW_LIVE_PROVIDERS="google,google-antigravity,google-gemini-cli" (allowlist через кому)
• Звідки беруться ключі:
  • За замовчуванням: сховище профілю та резервні значення env
  • Установіть OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1, щоб вимагати лише сховище профілю
• Навіщо це існує:
  • Відокремлює "API постачальника зламаний / ключ недійсний" від "конвеєр gateway agent зламаний"
  • Містить невеликі, ізольовані регресії (приклад: OpenAI Responses/Codex Responses reasoning replay + tool-call flows)

# Шар 2: Gateway + dev agent smoke (що фактично робить "@openclaw")

• Тест: src/gateway/gateway-models.profiles.live.test.ts
• Мета:
  • Запустити Gateway в межах процесу
  • Створити/пропатчити сесію agent:dev:* (перевизначення моделі для кожного запуску)
  • Ітерувати моделі з ключами й перевірити:
    • "змістовну" відповідь (без інструментів)
    • справжній виклик інструмента працює (read-проба)
    • необов’язкові додаткові проби інструментів (exec+read-проба)
    • регресійні шляхи OpenAI (tool-call-only → follow-up) продовжують працювати
• Деталі проб (щоб ви могли швидко пояснювати збої):
  • read-проба: тест записує nonce-файл у workspace і просить agent виконати read для нього та повернути nonce.
  • exec+read-проба: тест просить agent через exec записати nonce у тимчасовий файл, а потім виконати read для нього.
  • image-проба: тест додає згенерований PNG (cat + випадковий код) і очікує, що модель поверне cat <CODE>.
  • Посилання на реалізацію: src/gateway/gateway-models.profiles.live.test.ts і src/gateway/live-image-probe.ts.
• Як увімкнути:
  • pnpm test:live (або OPENCLAW_LIVE_TEST=1, якщо викликаєте Vitest напряму)
• Як вибрати моделі:
  • За замовчуванням: сучасний allowlist (Opus/Sonnet 4.6+, GPT-5.2 + Codex, Gemini 3, DeepSeek V4, GLM 4.7, MiniMax M2.7, Grok 4.3)
  • OPENCLAW_LIVE_GATEWAY_MODELS=all є псевдонімом для сучасного allowlist
  • Або встановіть OPENCLAW_LIVE_GATEWAY_MODELS="provider/model" (або список через кому), щоб звузити вибір
  • Modern/all gateway-перевірки за замовчуванням використовують curated high-signal cap; установіть OPENCLAW_LIVE_GATEWAY_MAX_MODELS=0 для вичерпної modern-перевірки або додатне число для меншого обмеження.
• Як вибрати постачальників (уникайте "OpenRouter everything"):
  • OPENCLAW_LIVE_GATEWAY_PROVIDERS="google,google-antigravity,google-gemini-cli,openai,anthropic,zai,minimax" (allowlist через кому)
• Проби інструментів + зображень завжди ввімкнені в цьому live-тесті:
  • read-проба + exec+read-проба (навантаження інструментів)
  • image-проба виконується, коли модель оголошує підтримку введення зображень
  • Потік (високорівнево):
    • Тест генерує крихітний PNG із "CAT" + випадковим кодом (src/gateway/live-image-probe.ts)
    • Надсилає його через agent attachments: [{ mimeType: "image/png", content: "<base64>" }]
    • Gateway розбирає вкладення в images[] (src/gateway/server-methods/agent.ts + src/gateway/chat-attachments.ts)
    • Embedded agent пересилає мультимодальне повідомлення користувача моделі
    • Перевірка: відповідь містить cat + код (толерантність OCR: допускаються незначні помилки)

# Live: CLI backend smoke (Claude, Codex, Gemini або інші локальні CLI)

• Тест: src/gateway/gateway-cli-backend.live.test.ts
• Мета: перевірити конвеєр Gateway + agent за допомогою локального CLI backend, не торкаючись вашої конфігурації за замовчуванням.
• Backend-specific smoke значення за замовчуванням містяться у визначенні cli-backend.ts Plugin-власника.
• Увімкнення:
  • pnpm test:live (або OPENCLAW_LIVE_TEST=1, якщо викликаєте Vitest напряму)
  • OPENCLAW_LIVE_CLI_BACKEND=1
• Значення за замовчуванням:
  • Постачальник/модель за замовчуванням: claude-cli/claude-sonnet-4-6
  • Поведінка команди/аргументів/зображень походить із метаданих Plugin-власника CLI backend.
• Перевизначення (необов’язково):
  • OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.5"
  • OPENCLAW_LIVE_CLI_BACKEND_COMMAND="/full/path/to/codex"
  • OPENCLAW_LIVE_CLI_BACKEND_ARGS='["exec","--json","--color","never","--sandbox","read-only","--skip-git-repo-check"]'
  • OPENCLAW_LIVE_CLI_BACKEND_IMAGE_PROBE=1, щоб надіслати справжнє вкладення зображення (шляхи вставляються в prompt). Docker-рецепти за замовчуванням вимикають це, якщо явно не запитано.
  • OPENCLAW_LIVE_CLI_BACKEND_IMAGE_ARG="--image", щоб передавати шляхи до файлів зображень як CLI args замість вставлення в prompt.
  • OPENCLAW_LIVE_CLI_BACKEND_IMAGE_MODE="repeat" (або "list"), щоб керувати способом передавання image args, коли встановлено IMAGE_ARG.
  • OPENCLAW_LIVE_CLI_BACKEND_RESUME_PROBE=1, щоб надіслати другий хід і перевірити resume flow.
  • OPENCLAW_LIVE_CLI_BACKEND_MODEL_SWITCH_PROBE=1, щоб увімкнути Claude Sonnet -> Opus same-session continuity probe, коли вибрана модель підтримує ціль перемикання. Docker-рецепти за замовчуванням вимикають це для сукупної надійності.
  • OPENCLAW_LIVE_CLI_BACKEND_MCP_PROBE=1, щоб увімкнути MCP/tool loopback-пробу. Docker-рецепти за замовчуванням вимикають це, якщо явно не запитано.

Приклад:

OPENCLAW_LIVE_CLI_BACKEND=1 \
  OPENCLAW_LIVE_CLI_BACKEND_MODEL="codex-cli/gpt-5.5" \
  pnpm test:live src/gateway/gateway-cli-backend.live.test.ts

Дешевий smoke конфігурації Gemini MCP:

OPENCLAW_LIVE_TEST=1 \
  pnpm test:live src/agents/cli-runner/bundle-mcp.gemini.live.test.ts

Це не просить Gemini згенерувати відповідь. Воно записує ті самі системні налаштування, які OpenClaw надає Gemini, а потім запускає gemini --debug mcp list, щоб довести, що збережений сервер transport: "streamable-http" нормалізується до HTTP MCP форми Gemini і може підключитися до локального streamable-HTTP MCP сервера.

Docker-рецепт:

pnpm test:docker:live-cli-backend

Docker-рецепти для окремих постачальників:

pnpm test:docker:live-cli-backend:claude
pnpm test:docker:live-cli-backend:claude-subscription
pnpm test:docker:live-cli-backend:codex
pnpm test:docker:live-cli-backend:gemini

Примітки:

• Docker runner розташований у scripts/test-live-cli-backend-docker.sh.
• Він запускає live CLI-backend smoke всередині Docker-образу репозиторію як користувач node без root-прав.
• Він визначає метадані CLI smoke з Plugin-власника, а потім установлює відповідний Linux CLI package (@anthropic-ai/claude-code, @openai/codex або @google/gemini-cli) у кешований записуваний префікс за OPENCLAW_DOCKER_CLI_TOOLS_DIR (за замовчуванням: ~/.cache/openclaw/docker-cli-tools).
• pnpm test:docker:live-cli-backend:claude-subscription потребує переносного Claude Code subscription OAuth через ~/.claude/.credentials.json із claudeAiOauth.subscriptionType або CLAUDE_CODE_OAUTH_TOKEN з claude setup-token. Спочатку він доводить прямий claude -p у Docker, потім запускає два Gateway CLI-backend ходи без збереження Anthropic API-key env vars. Ця subscription lane за замовчуванням вимикає Claude MCP/tool і image-проби, оскільки Claude наразі маршрутизує використання сторонніх застосунків через оплату додаткового використання замість звичайних лімітів subscription plan.
• Live CLI-backend smoke тепер виконує той самий end-to-end потік для Claude, Codex і Gemini: текстовий хід, хід класифікації зображення, потім виклик інструмента MCP cron, перевірений через gateway CLI.
• Стандартний smoke Claude також патчить сесію з Sonnet на Opus і перевіряє, що відновлена сесія все ще пам’ятає попередню нотатку.

# Live: досяжність APNs HTTP/2 proxy

• Тест: src/infra/push-apns-http2.live.test.ts
• Мета: тунелювати через локальний HTTP CONNECT proxy до sandbox APNs endpoint Apple, надіслати APNs HTTP/2 validation request і перевірити, що реальна відповідь Apple 403 InvalidProviderToken повертається через proxy path.
• Увімкнення:
  • OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_APNS_REACHABILITY=1 pnpm test:live src/infra/push-apns-http2.live.test.ts
• Необов’язковий тайм-аут:
  • OPENCLAW_LIVE_APNS_TIMEOUT_MS=30000

# Live: ACP bind smoke (/acp spawn ... --bind here)

• Тест: src/gateway/gateway-acp-bind.live.test.ts
• Мета: перевірити реальний потік прив’язки розмови ACP з живим агентом ACP:
  • надіслати /acp spawn <agent> --bind here
  • прив’язати синтетичну розмову каналу повідомлень на місці
  • надіслати звичайне подальше повідомлення в тій самій розмові
  • перевірити, що подальше повідомлення потрапляє в транскрипт прив’язаного сеансу ACP
• Увімкнення:
  • pnpm test:live src/gateway/gateway-acp-bind.live.test.ts
  • OPENCLAW_LIVE_ACP_BIND=1
• Значення за замовчуванням:
  • агенти ACP у Docker: claude,codex,gemini
  • агент ACP для прямого pnpm test:live ...: claude
  • синтетичний канал: контекст розмови на кшталт Slack DM
  • бекенд ACP: acpx
• Перевизначення:
  • OPENCLAW_LIVE_ACP_BIND_AGENT=claude
  • OPENCLAW_LIVE_ACP_BIND_AGENT=codex
  • OPENCLAW_LIVE_ACP_BIND_AGENT=droid
  • OPENCLAW_LIVE_ACP_BIND_AGENT=gemini
  • OPENCLAW_LIVE_ACP_BIND_AGENT=opencode
  • OPENCLAW_LIVE_ACP_BIND_AGENTS=claude,codex,gemini
  • OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND='npx -y @agentclientprotocol/claude-agent-acp@<version>'
  • OPENCLAW_LIVE_ACP_BIND_CODEX_MODEL=gpt-5.5
  • OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL=opencode/kimi-k2.6
  • OPENCLAW_LIVE_ACP_BIND_REQUIRE_TRANSCRIPT=1
  • OPENCLAW_LIVE_ACP_BIND_REQUIRE_CRON=1
  • OPENCLAW_LIVE_ACP_BIND_PARENT_MODEL=openai/gpt-5.5
• Примітки:
  • Ця смуга використовує поверхню gateway chat.send з адміністративними синтетичними полями вихідного маршруту, щоб тести могли приєднувати контекст каналу повідомлень без удавання зовнішньої доставки.
  • Коли OPENCLAW_LIVE_ACP_BIND_AGENT_COMMAND не задано, тест використовує вбудований реєстр агентів Plugin acpx для вибраного агента ACP harness.
  • Створення MCP для Cron прив’язаного сеансу за замовчуванням виконується за принципом найкращого зусилля, бо зовнішні ACP harness можуть скасовувати виклики MCP після успішного підтвердження прив’язки/зображення; задайте OPENCLAW_LIVE_ACP_BIND_REQUIRE_CRON=1, щоб зробити цю післяприв’язувальну перевірку Cron суворою.

Приклад:

OPENCLAW_LIVE_ACP_BIND=1 \
  OPENCLAW_LIVE_ACP_BIND_AGENT=claude \
  pnpm test:live src/gateway/gateway-acp-bind.live.test.ts

Рецепт Docker:

pnpm test:docker:live-acp-bind

Рецепти Docker для одного агента:

pnpm test:docker:live-acp-bind:claude
pnpm test:docker:live-acp-bind:codex
pnpm test:docker:live-acp-bind:droid
pnpm test:docker:live-acp-bind:gemini
pnpm test:docker:live-acp-bind:opencode

Примітки Docker:

• Runner Docker розташований у scripts/test-live-acp-bind-docker.sh.
• За замовчуванням він послідовно запускає smoke ACP bind проти сукупних живих CLI-агентів: claude, codex, потім gemini.
• Використовуйте OPENCLAW_LIVE_ACP_BIND_AGENTS=claude, OPENCLAW_LIVE_ACP_BIND_AGENTS=codex, OPENCLAW_LIVE_ACP_BIND_AGENTS=droid, OPENCLAW_LIVE_ACP_BIND_AGENTS=gemini або OPENCLAW_LIVE_ACP_BIND_AGENTS=opencode, щоб звузити матрицю.
• Він завантажує ~/.profile, переносить відповідні матеріали автентифікації CLI в контейнер, а потім встановлює запитаний живий CLI (@anthropic-ai/claude-code, @openai/codex, Factory Droid через https://app.factory.ai/cli, @google/gemini-cli або opencode-ai), якщо його бракує. Сам бекенд ACP — це вбудований пакет acpx/runtime з офіційного Plugin acpx.
• Варіант Docker для Droid переносить ~/.factory для налаштувань, пробрасыває FACTORY_API_KEY і вимагає цей API key, бо локальна автентифікація Factory OAuth/keyring не переноситься в контейнер. Він використовує вбудований запис реєстру ACPX droid exec --output-format acp.
• Варіант Docker для OpenCode — це сувора регресійна смуга одного агента. Він записує тимчасову типову модель OPENCODE_CONFIG_CONTENT з OPENCLAW_LIVE_ACP_BIND_OPENCODE_MODEL (за замовчуванням opencode/kimi-k2.6) після завантаження ~/.profile, а pnpm test:docker:live-acp-bind:opencode вимагає транскрипт прив’язаного асистента замість прийняття загального пропуску після прив’язки.
• Прямі виклики CLI acpx є лише ручним/обхідним шляхом для порівняння поведінки поза Gateway. Docker smoke ACP bind перевіряє вбудований runtime-бекенд acpx OpenClaw.

# Live: smoke Codex app-server harness

• Мета: перевірити належний Plugin Codex harness через звичайний метод gateway agent:
  • завантажити bundled Plugin codex
  • вибрати OPENCLAW_AGENT_RUNTIME=codex
  • надіслати перший хід агента gateway до openai/gpt-5.5 з примусово ввімкненим Codex harness
  • надіслати другий хід до того самого сеансу OpenClaw і перевірити, що app-server thread може відновитися
  • запустити /codex status і /codex models через той самий шлях команди gateway
  • за бажанням запустити дві перевірені Guardian підвищені shell-перевірки: одну безпечну команду, яку має бути схвалено, і одне фальшиве завантаження секрету, яке має бути відхилено, щоб агент перепитав
• Тест: src/gateway/gateway-codex-harness.live.test.ts
• Увімкнення: OPENCLAW_LIVE_CODEX_HARNESS=1
• Типова модель: openai/gpt-5.5
• Необов’язкова перевірка зображення: OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1
• Необов’язкова перевірка MCP/tool: OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1
• Необов’язкова перевірка Guardian: OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1
• Smoke використовує agentRuntime.id: "codex", щоб зламаний Codex harness не міг пройти, тихо повернувшись до PI.
• Автентифікація: автентифікація Codex app-server з локального входу в підписку Codex. Docker smoke також можуть надавати OPENAI_API_KEY для перевірок не Codex, коли це застосовно, а також необов’язково скопійовані ~/.codex/auth.json і ~/.codex/config.toml.

Локальний рецепт:

source ~/.profile
OPENCLAW_LIVE_CODEX_HARNESS=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=1 \
  OPENCLAW_LIVE_CODEX_HARNESS_MODEL=openai/gpt-5.5 \
  pnpm test:live -- src/gateway/gateway-codex-harness.live.test.ts

Рецепт Docker:

source ~/.profile
pnpm test:docker:live-codex-harness

Примітки Docker:

• Runner Docker розташований у scripts/test-live-codex-harness-docker.sh.
• Він завантажує змонтований ~/.profile, передає OPENAI_API_KEY, копіює файли автентифікації Codex CLI, якщо вони є, встановлює @openai/codex у придатний для запису змонтований npm prefix, переносить дерево джерел, а потім запускає лише живий тест Codex-harness.
• Docker за замовчуванням вмикає перевірки зображення, MCP/tool і Guardian. Задайте OPENCLAW_LIVE_CODEX_HARNESS_IMAGE_PROBE=0 або OPENCLAW_LIVE_CODEX_HARNESS_MCP_PROBE=0 або OPENCLAW_LIVE_CODEX_HARNESS_GUARDIAN_PROBE=0, коли потрібен вужчий debug запуск.
• Docker використовує ту саму явну конфігурацію runtime Codex, тому legacy aliases або fallback PI не можуть приховати регресію Codex harness.

# Рекомендовані live-рецепти

Вузькі, явні allowlist є найшвидшими й найменш нестабільними:

• Одна модель, напряму (без gateway):

  • OPENCLAW_LIVE_MODELS="openai/gpt-5.5" pnpm test:live src/agents/models.profiles.live.test.ts

• Одна модель, gateway smoke:

  • OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

• Виклик tools у кількох провайдерів:

  • OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3-flash-preview,deepseek/deepseek-v4-flash,zai/glm-5.1,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

• Фокус Google (API key Gemini + Antigravity):

  • Gemini (API key): OPENCLAW_LIVE_GATEWAY_MODELS="google/gemini-3-flash-preview" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts
  • Antigravity (OAuth): OPENCLAW_LIVE_GATEWAY_MODELS="google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-pro-high" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

• Google adaptive thinking smoke:

  • Якщо локальні ключі живуть у профілі shell: source ~/.profile
  • Динамічне значення за замовчуванням Gemini 3: pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-3.1-pro-preview --alt-model google/gemini-3.1-pro-preview --message '/think adaptive Reply exactly: GEMINI_ADAPTIVE_OK' --timeout-ms 180000
  • Динамічний бюджет Gemini 2.5: pnpm openclaw qa manual --provider-mode live-frontier --model google/gemini-2.5-flash --alt-model google/gemini-2.5-flash --message '/think adaptive Reply exactly: GEMINI25_ADAPTIVE_OK' --timeout-ms 180000

Примітки:

• google/... використовує Gemini API (API key).
• google-antigravity/... використовує міст Antigravity OAuth (endpoint агента у стилі Cloud Code Assist).
• google-gemini-cli/... використовує локальний Gemini CLI на вашій машині (окрема автентифікація + особливості tooling).
• Gemini API проти Gemini CLI:
  • API: OpenClaw викликає розміщений Google Gemini API через HTTP (API key / автентифікація профілю); це те, що більшість користувачів має на увазі під "Gemini".
  • CLI: OpenClaw запускає локальний бінарний файл gemini через shell; він має власну автентифікацію й може поводитися інакше (streaming/підтримка tools/розходження версій).

# Live: матриця моделей (що ми покриваємо)

Немає фіксованого "списку моделей CI" (live є opt-in), але це рекомендовані моделі для регулярного покриття на машині розробника з ключами.

# Сучасний smoke-набір (виклик tools + зображення)

Це запуск "поширених моделей", від якого ми очікуємо стабільної роботи:

• OpenAI (не Codex): openai/gpt-5.5
• OpenAI Codex OAuth: openai-codex/gpt-5.5
• Anthropic: anthropic/claude-opus-4-6 (або anthropic/claude-sonnet-4-6)
• Google (Gemini API): google/gemini-3.1-pro-preview і google/gemini-3-flash-preview (уникайте старіших моделей Gemini 2.x)
• Google (Antigravity): google-antigravity/claude-opus-4-6-thinking і google-antigravity/gemini-3-flash
• DeepSeek: deepseek/deepseek-v4-flash і deepseek/deepseek-v4-pro
• Z.AI (GLM): zai/glm-5.1
• MiniMax: minimax/MiniMax-M2.7

Запустіть gateway smoke з tools + зображенням: OPENCLAW_LIVE_GATEWAY_MODELS="openai/gpt-5.5,openai-codex/gpt-5.5,anthropic/claude-opus-4-6,google/gemini-3.1-pro-preview,google/gemini-3-flash-preview,google-antigravity/claude-opus-4-6-thinking,google-antigravity/gemini-3-flash,deepseek/deepseek-v4-flash,zai/glm-5.1,minimax/MiniMax-M2.7" pnpm test:live src/gateway/gateway-models.profiles.live.test.ts

# Базовий рівень: виклик tools (Read + необов’язково Exec)

Виберіть принаймні одну з кожної родини провайдерів:

• OpenAI: openai/gpt-5.5
• Anthropic: anthropic/claude-opus-4-6 (або anthropic/claude-sonnet-4-6)
• Google: google/gemini-3-flash-preview (або google/gemini-3.1-pro-preview)
• DeepSeek: deepseek/deepseek-v4-flash
• Z.AI (GLM): zai/glm-5.1
• MiniMax: minimax/MiniMax-M2.7

Необов’язкове додаткове покриття (бажано мати):

• xAI: xai/grok-4.3 (або остання доступна)
• Mistral: mistral/… (виберіть одну модель із підтримкою "tools", яку у вас увімкнено)
• Cerebras: cerebras/… (якщо маєте доступ)
• LM Studio: lmstudio/… (локально; виклик tools залежить від режиму API)

# Vision: надсилання зображення (вкладення → мультимодальне повідомлення)

Додайте принаймні одну модель із підтримкою зображень у OPENCLAW_LIVE_GATEWAY_MODELS (варіанти Claude/Gemini/OpenAI з підтримкою vision тощо), щоб перевірити image probe.

# Агрегатори / альтернативні gateway

Якщо у вас увімкнено ключі, ми також підтримуємо тестування через:

• OpenRouter: openrouter/... (сотні моделей; використовуйте openclaw models scan, щоб знайти кандидатів із підтримкою tools+image)
• OpenCode: opencode/... для Zen і opencode-go/... для Go (автентифікація через OPENCODE_API_KEY / OPENCODE_ZEN_API_KEY)

Більше провайдерів, які можна включити до live-матриці (якщо маєте credentials/config):

• Вбудовані: openai, openai-codex, anthropic, google, google-vertex, google-antigravity, google-gemini-cli, zai, openrouter, opencode, opencode-go, xai, groq, cerebras, mistral, github-copilot
• Через models.providers (користувацькі endpoints): minimax (cloud/API), а також будь-який OpenAI/Anthropic-compatible proxy (LM Studio, vLLM, LiteLLM тощо)

# Credentials (ніколи не комітьте)

Live-тести знаходять credentials так само, як це робить CLI. Практичні наслідки:

• Якщо CLI працює, live-тести мають знайти ті самі ключі.

• Якщо live-тест каже "no creds", debug виконуйте так само, як для openclaw models list / вибору моделі.

• Профілі автентифікації для кожного агента: ~/.openclaw/agents/<agentId>/agent/auth-profiles.json (саме це означає "profile keys" у живих тестах)

• Конфігурація: ~/.openclaw/openclaw.json (або OPENCLAW_CONFIG_PATH)

• Каталог застарілого стану: ~/.openclaw/credentials/ (копіюється до підготовленого домашнього каталогу живого тесту, якщо наявний, але не є основним сховищем ключів профілю)

• Локальні живі запуски за замовчуванням копіюють активну конфігурацію, файли auth-profiles.json для кожного агента, застарілий credentials/ і підтримувані зовнішні каталоги автентифікації CLI до тимчасового тестового домашнього каталогу; підготовлені домашні каталоги живих тестів пропускають workspace/ і sandboxes/, а перевизначення шляхів agents.*.workspace / agentDir видаляються, щоб перевірки не торкалися справжнього робочого простору на вашому хості.

Якщо ви хочете покладатися на ключі середовища (наприклад, експортовані у вашому ~/.profile), запускайте локальні тести після source ~/.profile або використовуйте Docker-запускачі нижче (вони можуть змонтувати ~/.profile у контейнер).

# Живий Deepgram (транскрипція аудіо)

• Тест: extensions/deepgram/audio.live.test.ts
• Увімкнення: DEEPGRAM_API_KEY=... DEEPGRAM_LIVE_TEST=1 pnpm test:live extensions/deepgram/audio.live.test.ts

# Живий план кодування BytePlus

• Тест: extensions/byteplus/live.test.ts
• Увімкнення: BYTEPLUS_API_KEY=... BYTEPLUS_LIVE_TEST=1 pnpm test:live extensions/byteplus/live.test.ts
• Необов'язкове перевизначення моделі: BYTEPLUS_CODING_MODEL=ark-code-latest

# Живі медіа робочого процесу ComfyUI

• Тест: extensions/comfy/comfy.live.test.ts
• Увімкнення: OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
• Обсяг:
  • Перевіряє вбудовані шляхи зображень, відео та music_generate comfy
  • Пропускає кожну можливість, якщо plugins.entries.comfy.config.<capability> не налаштовано
  • Корисно після змін у надсиланні робочого процесу comfy, опитуванні, завантаженнях або реєстрації Plugin

# Жива генерація зображень

• Тест: test/image-generation.runtime.live.test.ts
• Команда: pnpm test:live test/image-generation.runtime.live.test.ts
• Тестовий стенд: pnpm test:live:media image
• Обсяг:
  • Перелічує кожен зареєстрований Plugin провайдера генерації зображень
  • Завантажує відсутні змінні середовища провайдера з вашої оболонки входу (~/.profile) перед перевіркою
  • За замовчуванням використовує живі ключі API / ключі API із середовища перед збереженими профілями автентифікації, тому застарілі тестові ключі в auth-profiles.json не приховують справжні облікові дані оболонки
  • Пропускає провайдерів без придатної автентифікації/профілю/моделі
  • Запускає кожного налаштованого провайдера через спільне середовище виконання генерації зображень:
    • <provider>:generate
    • <provider>:edit, коли провайдер оголошує підтримку редагування
• Поточні охоплені вбудовані провайдери:
  • deepinfra
  • fal
  • google
  • minimax
  • openai
  • openrouter
  • vydra
  • xai
• Необов'язкове звуження:
  • OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="openai,google,openrouter,xai"
  • OPENCLAW_LIVE_IMAGE_GENERATION_PROVIDERS="deepinfra"
  • OPENCLAW_LIVE_IMAGE_GENERATION_MODELS="openai/gpt-image-2,google/gemini-3.1-flash-image-preview,openrouter/google/gemini-3.1-flash-image-preview,xai/grok-imagine-image"
  • OPENCLAW_LIVE_IMAGE_GENERATION_CASES="google:flash-generate,google:pro-edit,openrouter:generate,xai:default-generate,xai:default-edit"
• Необов'язкова поведінка автентифікації:
  • OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1, щоб примусово використовувати автентифікацію зі сховища профілів і ігнорувати перевизначення лише із середовища

Для поставленого шляху CLI додайте димову перевірку infer після проходження живого тесту провайдера/середовища виконання:

OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_INFER_CLI_TEST=1 pnpm test:live -- test/image-generation.infer-cli.live.test.ts
openclaw infer image providers --json
openclaw infer image generate \
  --model google/gemini-3.1-flash-image-preview \
  --prompt "Minimal flat test image: one blue square on a white background, no text." \
  --output ./openclaw-infer-image-smoke.png \
  --json

Це охоплює розбір аргументів CLI, визначення конфігурації/типового агента, активацію вбудованого Plugin, спільне середовище виконання генерації зображень і живий запит до провайдера. Залежності Plugin мають бути наявні до завантаження середовища виконання.

# Жива генерація музики

• Тест: extensions/music-generation-providers.live.test.ts
• Увімкнення: OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
• Тестовий стенд: pnpm test:live:media music
• Обсяг:
  • Перевіряє спільний шлях вбудованого провайдера генерації музики
  • Наразі охоплює Google і MiniMax
  • Завантажує змінні середовища провайдера з вашої оболонки входу (~/.profile) перед перевіркою
  • За замовчуванням використовує живі ключі API / ключі API із середовища перед збереженими профілями автентифікації, тому застарілі тестові ключі в auth-profiles.json не приховують справжні облікові дані оболонки
  • Пропускає провайдерів без придатної автентифікації/профілю/моделі
  • Запускає обидва оголошені режими середовища виконання, коли вони доступні:
    • generate із введенням лише запиту
    • edit, коли провайдер оголошує capabilities.edit.enabled
  • Поточне охоплення спільної лінії:
    • google: generate, edit
    • minimax: generate
    • comfy: окремий живий файл Comfy, не цей спільний повний прохід
• Необов'язкове звуження:
  • OPENCLAW_LIVE_MUSIC_GENERATION_PROVIDERS="google,minimax"
  • OPENCLAW_LIVE_MUSIC_GENERATION_MODELS="google/lyria-3-clip-preview,minimax/music-2.6"
• Необов'язкова поведінка автентифікації:
  • OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1, щоб примусово використовувати автентифікацію зі сховища профілів і ігнорувати перевизначення лише із середовища

# Жива генерація відео

• Тест: extensions/video-generation-providers.live.test.ts
• Увімкнення: OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/video-generation-providers.live.test.ts
• Тестовий стенд: pnpm test:live:media video
• Обсяг:
  • Перевіряє спільний шлях вбудованого провайдера генерації відео
  • За замовчуванням використовує безпечний для релізу шлях димової перевірки: провайдери без FAL, один запит текст-у-відео на провайдера, односекундний запит із лобстером і ліміт операції для кожного провайдера з OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS (180000 за замовчуванням)
  • За замовчуванням пропускає FAL, оскільки затримка черги на боці провайдера може домінувати над часом релізу; передайте --video-providers fal або OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="fal", щоб запустити його явно
  • Завантажує змінні середовища провайдера з вашої оболонки входу (~/.profile) перед перевіркою
  • За замовчуванням використовує живі ключі API / ключі API із середовища перед збереженими профілями автентифікації, тому застарілі тестові ключі в auth-profiles.json не приховують справжні облікові дані оболонки
  • Пропускає провайдерів без придатної автентифікації/профілю/моделі
  • За замовчуванням запускає лише generate
  • Установіть OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, щоб також запускати оголошені режими трансформації, коли вони доступні:
    • imageToVideo, коли провайдер оголошує capabilities.imageToVideo.enabled, а вибраний провайдер/модель приймає локальне введення зображення на основі буфера у спільному повному проході
    • videoToVideo, коли провайдер оголошує capabilities.videoToVideo.enabled, а вибраний провайдер/модель приймає локальне введення відео на основі буфера у спільному повному проході
  • Поточні провайдери imageToVideo, оголошені, але пропущені у спільному повному проході:
    • vydra, оскільки вбудований veo3 підтримує лише текст, а вбудований kling потребує віддаленої URL-адреси зображення
  • Специфічне для провайдера охоплення Vydra:
    • OPENCLAW_LIVE_TEST=1 OPENCLAW_LIVE_VYDRA_VIDEO=1 pnpm test:live -- extensions/vydra/vydra.live.test.ts
    • цей файл запускає текст-у-відео veo3 плюс лінію kling, яка за замовчуванням використовує фікстуру віддаленої URL-адреси зображення
  • Поточне живе охоплення videoToVideo:
    • runway лише коли вибрана модель — runway/gen4_aleph
  • Поточні провайдери videoToVideo, оголошені, але пропущені у спільному повному проході:
    • alibaba, qwen, xai, оскільки ці шляхи наразі потребують віддалених URL-адрес http(s) / еталонних URL-адрес MP4
    • google, оскільки поточна спільна лінія Gemini/Veo використовує локальне введення на основі буфера, а цей шлях не приймається у спільному повному проході
    • openai, оскільки поточна спільна лінія не має гарантій доступу до специфічного для організації відео-замальовування/реміксу
• Необов'язкове звуження:
  • OPENCLAW_LIVE_VIDEO_GENERATION_PROVIDERS="deepinfra,google,openai,runway"
  • OPENCLAW_LIVE_VIDEO_GENERATION_MODELS="google/veo-3.1-fast-generate-preview,openai/sora-2,runway/gen4_aleph"
  • OPENCLAW_LIVE_VIDEO_GENERATION_SKIP_PROVIDERS="", щоб включити кожного провайдера до типового повного проходу, включно з FAL
  • OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS=60000, щоб зменшити ліміт операції для кожного провайдера для агресивної димової перевірки
• Необов'язкова поведінка автентифікації:
  • OPENCLAW_LIVE_REQUIRE_PROFILE_KEYS=1, щоб примусово використовувати автентифікацію зі сховища профілів і ігнорувати перевизначення лише із середовища

# Тестовий стенд живих медіа

• Команда: pnpm test:live:media
• Призначення:
  • Запускає спільні живі набори для зображень, музики та відео через одну власну для репозиторію точку входу
  • Автоматично завантажує відсутні змінні середовища провайдера з ~/.profile
  • За замовчуванням автоматично звужує кожен набір до провайдерів, які наразі мають придатну автентифікацію
  • Повторно використовує scripts/test-live.mjs, тому поведінка Heartbeat і тихого режиму лишається узгодженою
• Приклади:
  • pnpm test:live:media
  • pnpm test:live:media image video --providers openai,google,minimax
  • pnpm test:live:media video --video-providers openai,runway --all-providers
  • pnpm test:live:media music --quiet

# Пов'язане

• Тестування - модульні, інтеграційні, QA та Docker-набори