vLLM

يُعامل vLLM كواجهة خلفية /v1 متوافقة مع OpenAI بنمط الوكيل، وليس كنقطة نهاية OpenAI أصلية. وهذا يعني:

بالنسبة إلى نماذج Qwen المقدمة عبر vLLM، عيّن params.qwenThinkingFormat: "chat-template" في إدخال النموذج عندما يتوقع الخادم kwargs لقالب محادثة Qwen. يربط OpenClaw الأمر /think off بـ:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "preserve_thinking": true
  }
}

ترسل مستويات التفكير غير off القيمة enable_thinking: true. إذا كانت نقطة النهاية لديك تتوقع بدلًا من ذلك أعلامًا علوية بنمط DashScope، فاستخدم params.qwenThinkingFormat: "top-level" لإرسال enable_thinking في جذر الطلب. كما يُقبل أيضًا params.qwen_thinking_format بصيغة snake-case.

يمكن لـ vLLM/Nemotron 3 استخدام kwargs لقالب المحادثة للتحكم في ما إذا كان الاستدلال يُعاد كاستدلال مخفي أو كنص إجابة مرئي. عندما تستخدم جلسة OpenClaw النموذج vllm/nemotron-3-* مع إيقاف التفكير، يرسل Plugin vLLM المضمّن:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "force_nonempty_content": true
  }
}

لتخصيص هذه القيم، عيّن chat_template_kwargs ضمن معلمات النموذج. إذا عيّنت أيضًا params.extra_body.chat_template_kwargs، فستكون لتلك القيمة الأسبقية النهائية لأن extra_body هو آخر تجاوز لجسم الطلب.

{
  agents: {
    defaults: {
      models: {
        "vllm/nemotron-3-super": {
          params: {
            chat_template_kwargs: {
              enable_thinking: false,
              force_nonempty_content: true,
            },
          },
        },
      },
    },
  },
}

تأكد أولًا من أن vLLM قد بدأ بمحلل استدعاءات الأدوات وقالب المحادثة الصحيحين للنموذج. على سبيل المثال، توثّق vLLM ‏hermes لنماذج Qwen2.5 وqwen3_xml لنماذج Qwen3-Coder.

الأعراض:

• لا تعمل Skills أو الأدوات أبدًا
• يطبع المساعد JSON/XML خامًا مثل {"name":"read","arguments":...}
• يعيد vLLM مصفوفة tool_calls فارغة عندما يرسل OpenClaw tool_choice: "auto"

بعض تركيبات Qwen/vLLM تعيد استدعاءات أدوات منظمة فقط عندما يستخدم الطلب tool_choice: "required". بالنسبة إلى إدخالات النماذج هذه، افرض حقل الطلب المتوافق مع OpenAI باستخدام params.extra_body:

{
  agents: {
    defaults: {
      models: {
        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {
          params: {
            extra_body: {
              tool_choice: "required",
            },
          },
        },
      },
    },
  },
}

استبدل Qwen-Qwen2.5-Coder-32B-Instruct بالمعرّف الدقيق المُعاد بواسطة:

openclaw models list --provider vllm

يمكنك تطبيق التجاوز نفسه من CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

هذا حل توافق اختياري. يجعل كل دور نموذج مع الأدوات يتطلب استدعاء أداة، لذلك استخدمه فقط لإدخال نموذج محلي مخصص يكون فيه هذا السلوك مقبولًا. لا تستخدمه كإعداد افتراضي عام لكل نماذج vLLM، ولا تستخدم وكيلًا يحوّل عشوائيًا أي نص مساعد إلى استدعاءات أدوات قابلة للتنفيذ.

إذا كان خادم vLLM يعمل على مضيف أو منفذ غير افتراضي، فعيّن baseUrl في تكوين المزوّد الصريح:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

بالنسبة إلى النماذج المحلية الكبيرة أو مضيفي LAN البعيدين أو روابط tailnet، عيّن مهلة طلب ضمن نطاق المزوّد:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [{ id: "your-model-id", name: "Local vLLM Model" }],
      },
    },
  },
}

ينطبق timeoutSeconds على طلبات HTTP لنماذج vLLM فقط، بما في ذلك إعداد الاتصال، ورؤوس الاستجابة، وتدفق الجسم، والإيقاف الكلي للجلب المحمي. فضّل هذا قبل زيادة agents.defaults.timeoutSeconds، الذي يتحكم في تشغيل الوكيل بأكمله.

تحقق من أن خادم vLLM قيد التشغيل ويمكن الوصول إليه:

curl http://127.0.0.1:8000/v1/models

إذا رأيت خطأ اتصال، فتحقق من المضيف والمنفذ وأن vLLM بدأ بوضع الخادم المتوافق مع OpenAI. بالنسبة إلى نقاط نهاية local loopback أو LAN أو Tailscale الصريحة، عيّن أيضًا models.providers.vllm.request.allowPrivateNetwork: true؛ تحظر طلبات المزوّد عناوين URL للشبكات الخاصة افتراضيًا ما لم يكن المزوّد موثوقًا به صراحةً.

إذا فشلت الطلبات بسبب أخطاء مصادقة، فعيّن VLLM_API_KEY حقيقيًا يطابق تكوين خادمك، أو كوّن المزوّد صراحةً ضمن models.providers.vllm.

يتطلب الاكتشاف التلقائي تعيين VLLM_API_KEY و عدم وجود إدخال تكوين صريح models.providers.vllm. إذا كنت قد عرّفت المزوّد يدويًا، يتخطى OpenClaw الاكتشاف ويستخدم فقط النماذج التي صرّحت بها.

إذا كان نموذج Qwen يطبع صيغة أدوات JSON/XML بدلًا من تنفيذ skill، فراجع إرشادات Qwen في قسم التكوين المتقدم أعلاه. الإصلاح المعتاد هو:

• بدء vLLM بالمحلل/القالب الصحيح لذلك النموذج
• تأكيد معرّف النموذج الدقيق باستخدام openclaw models list --provider vllm
• إضافة تجاوز مخصص لكل نموذج params.extra_body.tool_choice: "required" فقط إذا كان tool_choice: "auto" لا يزال يعيد استدعاءات أدوات فارغة أو نصية فقط