Medya anlama

OpenClaw, yanıt hattı çalışmadan önce gelen medyayı özetleyebilir (görsel/ses/video). Yerel araçlar veya sağlayıcı anahtarları kullanılabilir olduğunda bunu otomatik algılar; devre dışı bırakılabilir veya özelleştirilebilir. Anlama kapalıysa modeller, özgün dosyaları/URL'leri her zamanki gibi almaya devam eder.

Tedarikçiye özgü medya davranışı tedarikçi Plugin'leri tarafından kaydedilir; OpenClaw çekirdeği ise paylaşılan tools.media yapılandırmasını, yedek sırasını ve yanıt hattı entegrasyonunu yönetir.

# Hedefler

• İsteğe bağlı: daha hızlı yönlendirme + daha iyi komut ayrıştırma için gelen medyayı kısa metne önceden sindir.
• Özgün medya teslimini modele koru (her zaman).
• sağlayıcı API'lerini ve CLI yedeklerini destekle.
• Sıralı yedekli birden fazla modele izin ver (hata/boyut/zaman aşımı).

# Üst düzey davranış

Anlama başarısız olursa veya devre dışıysa yanıt akışı devam eder; özgün gövde + ekler korunur.

# Yapılandırma özeti

tools.media, paylaşılan modelleri ve yetenek başına geçersiz kılmaları destekler:

{
  tools: {
    media: {
      models: [
        /* shared list */
      ],
      image: {
        /* optional overrides */
      },
      audio: {
        /* optional overrides */
        echoTranscript: true,
        echoFormat: '📝 "{transcript}"',
      },
      video: {
        /* optional overrides */
      },
    },
  },
}

# Model girdileri

Her models[] girdisi sağlayıcı veya CLI olabilir:

{
  type: "provider", // default if omitted
  provider: "openai",
  model: "gpt-5.5",
  prompt: "Describe the image in <= 500 chars.",
  maxChars: 500,
  maxBytes: 10485760,
  timeoutSeconds: 60,
  capabilities: ["image"], // optional, used for multi-modal entries
  profile: "vision-profile",
  preferredProfile: "vision-fallback",
}

{
  type: "cli",
  command: "gemini",
  args: [
    "-m",
    "gemini-3-flash",
    "--allowed-tools",
    "read_file",
    "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",
  ],
  maxChars: 500,
  maxBytes: 52428800,
  timeoutSeconds: 120,
  capabilities: ["video", "image"],
}

# Varsayılanlar ve sınırlar

Önerilen varsayılanlar:

• maxChars: görsel/video için 500 (kısa, komut dostu)
• maxChars: ses için ayarlanmamış (sınır koymadığınız sürece tam döküm)
• maxBytes:
  • görsel: 10MB
  • ses: 20MB
  • video: 50MB

# Medya anlamayı otomatik algıla (varsayılan)

tools.media.<capability>.enabled false olarak ayarlanmamışsa ve model yapılandırmadıysanız OpenClaw şu sırayla otomatik algılar ve ilk çalışan seçenekte durur:

Otomatik algılamayı devre dışı bırakmak için şunu ayarlayın:

{
  tools: {
    media: {
      audio: {
        enabled: false,
      },
    },
  },
}

# Proxy ortam desteği (sağlayıcı modelleri)

Sağlayıcı tabanlı ses ve video medya anlama etkinleştirildiğinde OpenClaw, sağlayıcı HTTP çağrıları için standart giden proxy ortam değişkenlerini dikkate alır:

• HTTPS_PROXY
• HTTP_PROXY
• ALL_PROXY
• https_proxy
• http_proxy
• all_proxy

Proxy ortam değişkenleri ayarlı değilse medya anlama doğrudan çıkış kullanır. Proxy değeri hatalı biçimlendirilmişse OpenClaw bir uyarı günlüğe yazar ve doğrudan getirmeye geri döner.

# Yetenekler (isteğe bağlı)

capabilities ayarlarsanız girdi yalnızca bu medya türleri için çalışır. Paylaşılan listelerde OpenClaw varsayılanları çıkarabilir:

• openai, anthropic, minimax: görsel
• minimax-portal: görsel
• moonshot: görsel + video
• openrouter: görsel
• google (Gemini API): görsel + ses + video
• qwen: görsel + video
• mistral: ses
• zai: görsel
• groq: ses
• xai: ses
• deepgram: ses
• Görsel yetenekli bir modele sahip herhangi bir models.providers.<id>.models[] kataloğu: görsel

CLI girdileri için şaşırtıcı eşleşmeleri önlemek üzere capabilities değerini açıkça ayarlayın. capabilities değerini atlarsanız girdi, içinde yer aldığı liste için uygundur.

# Sağlayıcı destek matrisi (OpenClaw entegrasyonları)

# Model seçimi kılavuzu

• Kalite ve güvenlik önemli olduğunda her medya yeteneği için kullanılabilir en güçlü en yeni nesil modeli tercih edin.
• Güvenilmeyen girdileri işleyen araç etkin ajanlar için daha eski/zayıf medya modellerinden kaçının.
• Erişilebilirlik için her yetenek başına en az bir yedek tutun (kalite modeli + daha hızlı/daha ucuz model).
• CLI yedekleri (whisper-cli, whisper, gemini), sağlayıcı API'leri kullanılamadığında yararlıdır.
• parakeet-mlx notu: --output-dir ile OpenClaw, çıktı biçimi txt olduğunda (veya belirtilmediğinde) <output-dir>/<media-basename>.txt dosyasını okur; txt olmayan biçimler stdout'a geri döner.

# Ek ilkesi

Yetenek başına attachments, hangi eklerin işleneceğini denetler:

mode: "all" olduğunda çıktılar [Image 1/2], [Audio 2/2] vb. olarak etiketlenir.

# Yapılandırma örnekleri

{
  tools: {
    media: {
      models: [
        { provider: "openai", model: "gpt-5.5", capabilities: ["image"] },
        {
          provider: "google",
          model: "gemini-3-flash-preview",
          capabilities: ["image", "audio", "video"],
        },
        {
          type: "cli",
          command: "gemini",
          args: [
            "-m",
            "gemini-3-flash",
            "--allowed-tools",
            "read_file",
            "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",
          ],
          capabilities: ["image", "video"],
        },
      ],
      audio: {
        attachments: { mode: "all", maxAttachments: 2 },
      },
      video: {
        maxChars: 500,
      },
    },
  },
}

{
  tools: {
    media: {
      audio: {
        enabled: true,
        models: [
          { provider: "openai", model: "gpt-4o-mini-transcribe" },
          {
            type: "cli",
            command: "whisper",
            args: ["--model", "base", "{{MediaPath}}"],
          },
        ],
      },
      video: {
        enabled: true,
        maxChars: 500,
        models: [
          { provider: "google", model: "gemini-3-flash-preview" },
          {
            type: "cli",
            command: "gemini",
            args: [
              "-m",
              "gemini-3-flash",
              "--allowed-tools",
              "read_file",
              "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",
            ],
          },
        ],
      },
    },
  },
}

{
  tools: {
    media: {
      image: {
        enabled: true,
        maxBytes: 10485760,
        maxChars: 500,
        models: [
          { provider: "openai", model: "gpt-5.5" },
          { provider: "anthropic", model: "claude-opus-4-6" },
          {
            type: "cli",
            command: "gemini",
            args: [
              "-m",
              "gemini-3-flash",
              "--allowed-tools",
              "read_file",
              "Read the media at {{MediaPath}} and describe it in <= {{MaxChars}} characters.",
            ],
          },
        ],
      },
    },
  },
}

{
  tools: {
    media: {
      image: {
        models: [
          {
            provider: "google",
            model: "gemini-3.1-pro-preview",
            capabilities: ["image", "video", "audio"],
          },
        ],
      },
      audio: {
        models: [
          {
            provider: "google",
            model: "gemini-3.1-pro-preview",
            capabilities: ["image", "video", "audio"],
          },
        ],
      },
      video: {
        models: [
          {
            provider: "google",
            model: "gemini-3.1-pro-preview",
            capabilities: ["image", "video", "audio"],
          },
        ],
      },
    },
  },
}

# Durum çıktısı

Medya anlama çalıştığında /status kısa bir özet satırı içerir:

📎 Media: image ok (openai/gpt-5.4) · audio skipped (maxBytes)

Bu, yetenek başına sonuçları ve geçerliyse seçilen sağlayıcıyı/modeli gösterir.

# Notlar

• Anlama en iyi çaba esasına göredir. Hatalar yanıtları engellemez.
• Anlama devre dışı olduğunda bile ekler yine de modellere geçirilir.
• Anlamanın nerede çalışacağını sınırlamak için scope kullanın (ör. yalnızca DM'ler).

# İlgili

• Yapılandırma
• Görüntü ve medya desteği