vLLM

vLLM diperlakukan sebagai backend /v1 bergaya proksi yang kompatibel dengan OpenAI, bukan endpoint OpenAI native. Artinya:

Untuk model Qwen yang disajikan melalui vLLM, tetapkan params.qwenThinkingFormat: "chat-template" pada entri model ketika server mengharapkan kwargs chat-template Qwen. OpenClaw memetakan /think off ke:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "preserve_thinking": true
  }
}

Level thinking selain off mengirim enable_thinking: true. Jika endpoint Anda mengharapkan flag tingkat atas bergaya DashScope sebagai gantinya, gunakan params.qwenThinkingFormat: "top-level" untuk mengirim enable_thinking di root permintaan. Snake-case params.qwen_thinking_format juga diterima.

vLLM/Nemotron 3 dapat menggunakan kwargs chat-template untuk mengontrol apakah reasoning dikembalikan sebagai reasoning tersembunyi atau teks jawaban yang terlihat. Ketika sesi OpenClaw menggunakan vllm/nemotron-3-* dengan thinking nonaktif, Plugin vLLM bawaan mengirim:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "force_nonempty_content": true
  }
}

Untuk menyesuaikan nilai-nilai ini, tetapkan chat_template_kwargs di bawah params model. Jika Anda juga menetapkan params.extra_body.chat_template_kwargs, nilai tersebut memiliki presedensi akhir karena extra_body adalah override body permintaan terakhir.

{
  agents: {
    defaults: {
      models: {
        "vllm/nemotron-3-super": {
          params: {
            chat_template_kwargs: {
              enable_thinking: false,
              force_nonempty_content: true,
            },
          },
        },
      },
    },
  },
}

Pertama, pastikan vLLM dimulai dengan parser tool-call dan template chat yang tepat untuk model tersebut. Misalnya, vLLM mendokumentasikan hermes untuk model Qwen2.5 dan qwen3_xml untuk model Qwen3-Coder.

Gejala:

• skills atau tool tidak pernah berjalan
• asisten mencetak JSON/XML mentah seperti {"name":"read","arguments":...}
• vLLM mengembalikan array tool_calls kosong ketika OpenClaw mengirim tool_choice: "auto"

Beberapa kombinasi Qwen/vLLM hanya mengembalikan panggilan tool terstruktur ketika permintaan menggunakan tool_choice: "required". Untuk entri model tersebut, paksa field permintaan yang kompatibel dengan OpenAI menggunakan params.extra_body:

{
  agents: {
    defaults: {
      models: {
        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {
          params: {
            extra_body: {
              tool_choice: "required",
            },
          },
        },
      },
    },
  },
}

Ganti Qwen-Qwen2.5-Coder-32B-Instruct dengan id persis yang dikembalikan oleh:

openclaw models list --provider vllm

Anda dapat menerapkan override yang sama dari CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Ini adalah solusi kompatibilitas opt-in. Ini membuat setiap giliran model dengan tool memerlukan panggilan tool, jadi gunakan hanya untuk entri model lokal khusus tempat perilaku tersebut dapat diterima. Jangan gunakan sebagai default global untuk semua model vLLM, dan jangan gunakan proksi yang secara membabi buta mengonversi teks asisten sembarang menjadi panggilan tool yang dapat dieksekusi.

Jika server vLLM Anda berjalan di host atau port non-default, tetapkan baseUrl di konfigurasi penyedia eksplisit:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

Untuk model lokal besar, host LAN jarak jauh, atau tautan tailnet, tetapkan timeout permintaan dalam cakupan penyedia:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [{ id: "your-model-id", name: "Local vLLM Model" }],
      },
    },
  },
}

timeoutSeconds hanya berlaku untuk permintaan HTTP model vLLM, termasuk penyiapan koneksi, header respons, streaming body, dan total abort guarded-fetch. Utamakan ini sebelum menaikkan agents.defaults.timeoutSeconds, yang mengontrol seluruh eksekusi agen.

Periksa bahwa server vLLM berjalan dan dapat diakses:

curl http://127.0.0.1:8000/v1/models

Jika Anda melihat kesalahan koneksi, verifikasi host, port, dan bahwa vLLM dimulai dengan mode server yang kompatibel dengan OpenAI. Untuk endpoint local loopback, LAN, atau Tailscale eksplisit, tetapkan juga models.providers.vllm.request.allowPrivateNetwork: true; permintaan penyedia memblokir URL jaringan privat secara default kecuali penyedia tersebut dipercaya secara eksplisit.

Jika permintaan gagal dengan kesalahan autentikasi, tetapkan VLLM_API_KEY nyata yang cocok dengan konfigurasi server Anda, atau konfigurasikan penyedia secara eksplisit di bawah models.providers.vllm.

Penemuan otomatis memerlukan VLLM_API_KEY ditetapkan dan tidak ada entri konfigurasi models.providers.vllm eksplisit. Jika Anda telah mendefinisikan penyedia secara manual, OpenClaw melewati penemuan dan hanya menggunakan model yang Anda deklarasikan.

Jika model Qwen mencetak sintaks tool JSON/XML alih-alih menjalankan skill, periksa panduan Qwen di Konfigurasi lanjutan di atas. Perbaikan biasanya adalah:

• mulai vLLM dengan parser/template yang benar untuk model tersebut
• konfirmasi id model persis dengan openclaw models list --provider vllm
• tambahkan override params.extra_body.tool_choice: "required" khusus per model hanya jika tool_choice: "auto" masih mengembalikan panggilan tool kosong atau hanya teks