vLLM

vLLM はネイティブの OpenAI エンドポイントではなく、プロキシ形式の OpenAI互換 /v1 バックエンドとして扱われます。これは次を意味します。

vLLM 経由で提供される Qwen モデルでは、サーバーが Qwen chat-template kwargs を想定している場合、モデルエントリーに params.qwenThinkingFormat: "chat-template" を設定します。OpenClaw は /think off を次にマッピングします。

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "preserve_thinking": true
  }
}

off 以外の thinking レベルでは enable_thinking: true が送信されます。エンドポイントが代わりに DashScope 形式のトップレベルフラグを想定している場合は、params.qwenThinkingFormat: "top-level" を使用して、リクエストルートに enable_thinking を送信します。スネークケースの params.qwen_thinking_format も使用できます。

vLLM/Nemotron 3 では、reasoning を隠し reasoning として返すか、表示される回答テキストとして返すかを制御するために、chat-template kwargs を使用できます。OpenClaw セッションが thinking off で vllm/nemotron-3-* を使用する場合、同梱の vLLM Plugin は次を送信します。

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "force_nonempty_content": true
  }
}

これらの値をカスタマイズするには、モデルパラメーターの下に chat_template_kwargs を設定します。params.extra_body.chat_template_kwargs も設定した場合は、extra_body が最後のリクエストボディ上書きであるため、その値が最終的に優先されます。

{
  agents: {
    defaults: {
      models: {
        "vllm/nemotron-3-super": {
          params: {
            chat_template_kwargs: {
              enable_thinking: false,
              force_nonempty_content: true,
            },
          },
        },
      },
    },
  },
}

まず、vLLM がそのモデルに適したツール呼び出しパーサーとチャットテンプレートで起動されていることを確認します。たとえば、vLLM は Qwen2.5 モデル向けに hermes、Qwen3-Coder モデル向けに qwen3_xml をドキュメント化しています。

症状:

• skills またはツールが実行されない
• アシスタントが {"name":"read","arguments":...} のような生の JSON/XML を出力する
• OpenClaw が tool_choice: "auto" を送信したときに、vLLM が空の tool_calls 配列を返す

一部の Qwen/vLLM の組み合わせでは、リクエストが tool_choice: "required" を使用した場合にのみ、構造化されたツール呼び出しを返します。該当するモデルエントリーでは、params.extra_body を使って OpenAI互換リクエストフィールドを強制します。

{
  agents: {
    defaults: {
      models: {
        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {
          params: {
            extra_body: {
              tool_choice: "required",
            },
          },
        },
      },
    },
  },
}

Qwen-Qwen2.5-Coder-32B-Instruct は、次で返される正確な ID に置き換えます。

openclaw models list --provider vllm

CLI から同じ上書きを適用できます。

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

これはオプトインの互換性回避策です。ツールを伴うすべてのモデルターンでツール呼び出しが必須になるため、その動作が許容される専用のローカルモデルエントリーでのみ使用してください。すべての vLLM モデルのグローバルデフォルトとして使用しないでください。また、任意のアシスタントテキストを実行可能なツール呼び出しへ無差別に変換するプロキシを使用しないでください。

vLLM サーバーがデフォルト以外のホストまたはポートで動作している場合は、明示的なプロバイダー設定で baseUrl を設定します。

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

大きなローカルモデル、リモート LAN ホスト、または tailnet リンクでは、プロバイダースコープのリクエストタイムアウトを設定します。

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [{ id: "your-model-id", name: "Local vLLM Model" }],
      },
    },
  },
}

timeoutSeconds は、接続セットアップ、レスポンスヘッダー、ボディストリーミング、および保護された fetch 全体の中断を含む、vLLM モデルの HTTP リクエストにのみ適用されます。エージェント実行全体を制御する agents.defaults.timeoutSeconds を増やす前に、こちらを優先してください。

vLLM サーバーが実行中で、アクセス可能であることを確認します。

curl http://127.0.0.1:8000/v1/models

接続エラーが表示される場合は、ホスト、ポート、および vLLM が OpenAI互換サーバーモードで起動されたことを確認してください。 明示的なループバック、LAN、または Tailscale エンドポイントでは、models.providers.vllm.request.allowPrivateNetwork: true も設定します。プロバイダーリクエストは、プロバイダーが明示的に信頼されていない限り、デフォルトでプライベートネットワーク URL をブロックします。

リクエストが認証エラーで失敗する場合は、サーバー設定に一致する実際の VLLM_API_KEY を設定するか、models.providers.vllm の下でプロバイダーを明示的に設定します。

自動検出には、VLLM_API_KEY が設定されていて、かつ明示的な models.providers.vllm 設定エントリーが存在しないことが必要です。プロバイダーを手動で定義している場合、OpenClaw は検出をスキップし、宣言されたモデルのみを使用します。

Qwen モデルが skill を実行せずに JSON/XML ツール構文を出力する場合は、上記の高度な設定にある Qwen のガイダンスを確認してください。通常の修正は次のとおりです。

• そのモデルに適したパーサー/テンプレートで vLLM を起動する
• openclaw models list --provider vllm で正確なモデル ID を確認する
• tool_choice: "auto" が依然として空またはテキストのみのツール呼び出しを返す場合にのみ、専用のモデル単位の params.extra_body.tool_choice: "required" 上書きを追加する