vLLM

vLLM, yerel bir OpenAI uç noktası değil, proxy tarzı OpenAI uyumlu bir /v1 arka ucu olarak ele alınır. Bunun anlamı:

vLLM üzerinden sunulan Qwen modelleri için, sunucu Qwen chat-template kwargs bekliyorsa model girdisinde params.qwenThinkingFormat: "chat-template" ayarlayın. OpenClaw, /think off öğesini şuna eşler:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "preserve_thinking": true
  }
}

off olmayan düşünme seviyeleri enable_thinking: true gönderir. Uç noktanız bunun yerine DashScope tarzı üst düzey bayraklar bekliyorsa, istek kökünde enable_thinking göndermek için params.qwenThinkingFormat: "top-level" kullanın. Snake-case params.qwen_thinking_format da kabul edilir.

vLLM/Nemotron 3, reasoning'in gizli reasoning olarak mı yoksa görünür yanıt metni olarak mı döndürüleceğini kontrol etmek için chat-template kwargs kullanabilir. Bir OpenClaw oturumu düşünme kapalıyken vllm/nemotron-3-* kullandığında, paketle gelen vLLM Plugin'i şunu gönderir:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "force_nonempty_content": true
  }
}

Bu değerleri özelleştirmek için model params altında chat_template_kwargs ayarlayın. Ayrıca params.extra_body.chat_template_kwargs ayarlarsanız, extra_body son istek gövdesi geçersiz kılması olduğu için son öncelik o değerde olur.

{
  agents: {
    defaults: {
      models: {
        "vllm/nemotron-3-super": {
          params: {
            chat_template_kwargs: {
              enable_thinking: false,
              force_nonempty_content: true,
            },
          },
        },
      },
    },
  },
}

Önce vLLM'nin model için doğru araç çağrısı ayrıştırıcısı ve chat template ile başlatıldığından emin olun. Örneğin vLLM, Qwen2.5 modelleri için hermes ve Qwen3-Coder modelleri için qwen3_xml belgeler.

Belirtiler:

• Skills veya araçlar hiç çalışmaz
• asistan {"name":"read","arguments":...} gibi ham JSON/XML yazdırır
• OpenClaw tool_choice: "auto" gönderdiğinde vLLM boş bir tool_calls dizisi döndürür

Bazı Qwen/vLLM kombinasyonları, yapılandırılmış araç çağrılarını yalnızca istek tool_choice: "required" kullandığında döndürür. Bu model girdileri için OpenAI uyumlu istek alanını params.extra_body ile zorlayın:

{
  agents: {
    defaults: {
      models: {
        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {
          params: {
            extra_body: {
              tool_choice: "required",
            },
          },
        },
      },
    },
  },
}

Qwen-Qwen2.5-Coder-32B-Instruct değerini şunun döndürdüğü tam kimlikle değiştirin:

openclaw models list --provider vllm

Aynı geçersiz kılmayı CLI'dan uygulayabilirsiniz:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Bu, isteğe bağlı bir uyumluluk geçici çözümüdür. Araçlar içeren her model dönüşünün bir araç çağrısı gerektirmesine neden olur; bu yüzden yalnızca bu davranışın kabul edilebilir olduğu özel bir yerel model girdisi için kullanın. Tüm vLLM modelleri için genel varsayılan olarak kullanmayın ve rastgele asistan metnini körlemesine çalıştırılabilir araç çağrılarına dönüştüren bir proxy kullanmayın.

vLLM sunucunuz varsayılan olmayan bir ana makine veya bağlantı noktasında çalışıyorsa, açık sağlayıcı yapılandırmasında baseUrl ayarlayın:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

Büyük yerel modeller, uzak LAN ana makineleri veya tailnet bağlantıları için sağlayıcı kapsamlı bir istek zaman aşımı ayarlayın:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [{ id: "your-model-id", name: "Local vLLM Model" }],
      },
    },
  },
}

timeoutSeconds, bağlantı kurulumu, yanıt üstbilgileri, gövde akışı ve toplam korumalı fetch iptali dahil olmak üzere yalnızca vLLM model HTTP isteklerine uygulanır. Tüm ajan çalışmasını kontrol eden agents.defaults.timeoutSeconds değerini artırmadan önce bunu tercih edin.

vLLM sunucusunun çalıştığını ve erişilebilir olduğunu kontrol edin:

curl http://127.0.0.1:8000/v1/models

Bir bağlantı hatası görürseniz ana makineyi, bağlantı noktasını ve vLLM'nin OpenAI uyumlu sunucu moduyla başlatıldığını doğrulayın. Açık loopback, LAN veya Tailscale uç noktaları için ayrıca models.providers.vllm.request.allowPrivateNetwork: true ayarlayın; sağlayıcı açıkça güvenilir olarak belirtilmedikçe sağlayıcı istekleri varsayılan olarak özel ağ URL'lerini engeller.

İstekler kimlik doğrulama hatalarıyla başarısız olursa, sunucu yapılandırmanızla eşleşen gerçek bir VLLM_API_KEY ayarlayın veya sağlayıcıyı models.providers.vllm altında açıkça yapılandırın.

Otomatik keşif, VLLM_API_KEY değerinin ayarlanmış olmasını ve açık bir models.providers.vllm yapılandırma girdisi olmamasını gerektirir. Sağlayıcıyı elle tanımladıysanız OpenClaw keşfi atlar ve yalnızca bildirdiğiniz modelleri kullanır.

Bir Qwen modeli bir skill çalıştırmak yerine JSON/XML araç söz dizimini yazdırıyorsa, yukarıdaki Gelişmiş yapılandırma bölümündeki Qwen yönlendirmesini kontrol edin. Olağan çözüm şudur:

• vLLM'yi o model için doğru ayrıştırıcı/şablonla başlatın
• tam model kimliğini openclaw models list --provider vllm ile doğrulayın
• yalnızca tool_choice: "auto" hâlâ boş veya yalnızca metin araç çağrıları döndürüyorsa özel bir model başına params.extra_body.tool_choice: "required" geçersiz kılması ekleyin