vLLM

با vLLM به‌عنوان یک backend سازگار با OpenAI و به سبک پروکسی برای /v1 رفتار می‌شود، نه یک endpoint بومی OpenAI. یعنی:

برای مدل‌های Qwen که از طریق vLLM سرو می‌شوند، وقتی سرور kwargs قالب گفت‌وگوی Qwen را انتظار دارد، روی ورودی مدل params.qwenThinkingFormat: "chat-template" را تنظیم کنید. OpenClaw مقدار /think off را به این تبدیل می‌کند:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "preserve_thinking": true
  }
}

سطح‌های تفکر غیر از off مقدار enable_thinking: true را ارسال می‌کنند. اگر endpoint شما در عوض flagهای سطح بالای سبک DashScope را انتظار دارد، از params.qwenThinkingFormat: "top-level" استفاده کنید تا enable_thinking در ریشه درخواست ارسال شود. شکل snake-case یعنی params.qwen_thinking_format نیز پذیرفته می‌شود.

vLLM/Nemotron 3 می‌تواند از kwargs قالب گفت‌وگو استفاده کند تا کنترل کند reasoning به‌صورت reasoning پنهان برگردانده شود یا متن پاسخ قابل مشاهده. وقتی یک نشست OpenClaw از vllm/nemotron-3-* با تفکر خاموش استفاده می‌کند، Plugin همراه vLLM این را ارسال می‌کند:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "force_nonempty_content": true
  }
}

برای سفارشی‌سازی این مقادیر، chat_template_kwargs را زیر پارامترهای مدل تنظیم کنید. اگر params.extra_body.chat_template_kwargs را نیز تنظیم کنید، آن مقدار اولویت نهایی دارد چون extra_body آخرین override بدنه درخواست است.

{
  agents: {
    defaults: {
      models: {
        "vllm/nemotron-3-super": {
          params: {
            chat_template_kwargs: {
              enable_thinking: false,
              force_nonempty_content: true,
            },
          },
        },
      },
    },
  },
}

ابتدا مطمئن شوید vLLM با parser فراخوانی ابزار و قالب گفت‌وگوی درست برای مدل راه‌اندازی شده است. برای مثال، مستندات vLLM برای مدل‌های Qwen2.5 از hermes و برای مدل‌های Qwen3-Coder از qwen3_xml نام می‌برد.

نشانه‌ها:

• skills یا ابزارها هرگز اجرا نمی‌شوند
• دستیار JSON/XML خامی مانند {"name":"read","arguments":...} را چاپ می‌کند
• وقتی OpenClaw مقدار tool_choice: "auto" را می‌فرستد، vLLM یک آرایه خالی tool_calls برمی‌گرداند

برخی ترکیب‌های Qwen/vLLM فقط وقتی فراخوانی ابزار ساخت‌یافته برمی‌گردانند که درخواست از tool_choice: "required" استفاده کند. برای آن ورودی‌های مدل، فیلد درخواست سازگار با OpenAI را با params.extra_body اجباری کنید:

{
  agents: {
    defaults: {
      models: {
        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {
          params: {
            extra_body: {
              tool_choice: "required",
            },
          },
        },
      },
    },
  },
}

Qwen-Qwen2.5-Coder-32B-Instruct را با شناسه دقیقی که این دستور برمی‌گرداند جایگزین کنید:

openclaw models list --provider vllm

می‌توانید همین override را از CLI اعمال کنید:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

این یک راهکار سازگاری اختیاری است. باعث می‌شود هر نوبت مدل همراه با ابزارها به یک فراخوانی ابزار نیاز داشته باشد، بنابراین فقط برای یک ورودی مدل محلی اختصاصی که این رفتار در آن قابل قبول است از آن استفاده کنید. از آن به‌عنوان پیش‌فرض سراسری برای همه مدل‌های vLLM استفاده نکنید، و از پروکسی‌ای استفاده نکنید که متن دلخواه دستیار را کورکورانه به فراخوانی‌های ابزار قابل اجرا تبدیل می‌کند.

اگر سرور vLLM شما روی میزبان یا درگاه غیرپیش‌فرض اجرا می‌شود، baseUrl را در پیکربندی ارائه‌دهنده صریح تنظیم کنید:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

برای مدل‌های محلی بزرگ، میزبان‌های LAN راه دور، یا لینک‌های tailnet، یک timeout درخواست در محدوده ارائه‌دهنده تنظیم کنید:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [{ id: "your-model-id", name: "Local vLLM Model" }],
      },
    },
  },
}

timeoutSeconds فقط برای درخواست‌های HTTP مدل vLLM اعمال می‌شود، از جمله برپایی اتصال، headerهای پاسخ، streaming بدنه، و abort کلی guarded-fetch. این را پیش از افزایش agents.defaults.timeoutSeconds ترجیح دهید؛ گزینه اخیر کل اجرای عامل را کنترل می‌کند.

بررسی کنید سرور vLLM در حال اجرا و قابل دسترسی باشد:

curl http://127.0.0.1:8000/v1/models

اگر خطای اتصال می‌بینید، میزبان، درگاه، و اینکه vLLM با حالت سرور سازگار با OpenAI شروع شده است را بررسی کنید. برای endpointهای صریح loopback، LAN، یا Tailscale، همچنین models.providers.vllm.request.allowPrivateNetwork: true را تنظیم کنید؛ درخواست‌های ارائه‌دهنده به‌صورت پیش‌فرض URLهای شبکه خصوصی را مسدود می‌کنند مگر اینکه ارائه‌دهنده به‌صورت صریح مورد اعتماد باشد.

اگر درخواست‌ها با خطاهای احراز هویت شکست می‌خورند، یک VLLM_API_KEY واقعی تنظیم کنید که با پیکربندی سرور شما مطابقت داشته باشد، یا ارائه‌دهنده را به‌صورت صریح زیر models.providers.vllm پیکربندی کنید.

کشف خودکار نیاز دارد VLLM_API_KEY تنظیم شده باشد و هیچ ورودی پیکربندی صریح models.providers.vllm وجود نداشته باشد. اگر ارائه‌دهنده را دستی تعریف کرده باشید، OpenClaw کشف را نادیده می‌گیرد و فقط از مدل‌های اعلام‌شده شما استفاده می‌کند.

اگر یک مدل Qwen به‌جای اجرای یک skill، نحو ابزار JSON/XML را چاپ می‌کند، راهنمای Qwen در پیکربندی پیشرفته بالا را بررسی کنید. راه‌حل معمول این است:

• vLLM را با parser/قالب درست برای آن مدل راه‌اندازی کنید
• شناسه دقیق مدل را با openclaw models list --provider vllm تایید کنید
• فقط اگر tool_choice: "auto" همچنان فراخوانی‌های ابزار خالی یا فقط متنی برمی‌گرداند، یک override اختصاصی برای هر مدل با params.extra_body.tool_choice: "required" اضافه کنید