vLLM

vLLM é tratado como um backend /v1 compatível com OpenAI em estilo proxy, não como um endpoint nativo da OpenAI. Isso significa:

Para modelos Qwen servidos pelo vLLM, defina params.qwenThinkingFormat: "chat-template" na entrada do modelo quando o servidor esperar kwargs de chat-template do Qwen. OpenClaw mapeia /think off para:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "preserve_thinking": true
  }
}

Níveis de thinking diferentes de off enviam enable_thinking: true. Se o seu endpoint espera flags de nível superior no estilo DashScope, use params.qwenThinkingFormat: "top-level" para enviar enable_thinking na raiz da requisição. params.qwen_thinking_format em snake-case também é aceito.

vLLM/Nemotron 3 pode usar kwargs de chat-template para controlar se o reasoning é retornado como reasoning oculto ou texto de resposta visível. Quando uma sessão do OpenClaw usa vllm/nemotron-3-* com thinking desativado, o Plugin vLLM incluído envia:

{
  "chat_template_kwargs": {
    "enable_thinking": false,
    "force_nonempty_content": true
  }
}

Para personalizar esses valores, defina chat_template_kwargs nos parâmetros do modelo. Se você também definir params.extra_body.chat_template_kwargs, esse valor terá precedência final porque extra_body é a última substituição do corpo da requisição.

{
  agents: {
    defaults: {
      models: {
        "vllm/nemotron-3-super": {
          params: {
            chat_template_kwargs: {
              enable_thinking: false,
              force_nonempty_content: true,
            },
          },
        },
      },
    },
  },
}

Primeiro, confirme que o vLLM foi iniciado com o parser de tool-call e o chat template corretos para o modelo. Por exemplo, a documentação do vLLM indica hermes para modelos Qwen2.5 e qwen3_xml para modelos Qwen3-Coder.

Sintomas:

• skills ou ferramentas nunca são executadas
• o assistente imprime JSON/XML bruto, como {"name":"read","arguments":...}
• o vLLM retorna um array tool_calls vazio quando o OpenClaw envia tool_choice: "auto"

Algumas combinações de Qwen/vLLM retornam chamadas de ferramenta estruturadas somente quando a requisição usa tool_choice: "required". Para essas entradas de modelo, force o campo de requisição compatível com OpenAI com params.extra_body:

{
  agents: {
    defaults: {
      models: {
        "vllm/Qwen-Qwen2.5-Coder-32B-Instruct": {
          params: {
            extra_body: {
              tool_choice: "required",
            },
          },
        },
      },
    },
  },
}

Substitua Qwen-Qwen2.5-Coder-32B-Instruct pelo ID exato retornado por:

openclaw models list --provider vllm

Você pode aplicar a mesma substituição pela CLI:

openclaw config set agents.defaults.models '{"vllm/Qwen-Qwen2.5-Coder-32B-Instruct":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge

Esta é uma solução alternativa de compatibilidade opcional. Ela faz com que todo turno do modelo com ferramentas exija uma chamada de ferramenta, então use-a somente para uma entrada dedicada de modelo local em que esse comportamento seja aceitável. Não a use como padrão global para todos os modelos vLLM, e não use um proxy que converta cegamente texto arbitrário do assistente em chamadas de ferramenta executáveis.

Se o servidor vLLM for executado em um host ou porta não padrão, defina baseUrl na configuração explícita do provedor:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:9000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [
          {
            id: "my-custom-model",
            name: "Remote vLLM Model",
            reasoning: false,
            input: ["text"],
            contextWindow: 64000,
            maxTokens: 4096,
          },
        ],
      },
    },
  },
}

Para modelos locais grandes, hosts de LAN remotos ou links de tailnet, defina um timeout de requisição no escopo do provedor:

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://192.168.1.50:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        request: { allowPrivateNetwork: true },
        timeoutSeconds: 300,
        models: [{ id: "your-model-id", name: "Local vLLM Model" }],
      },
    },
  },
}

timeoutSeconds se aplica somente às requisições HTTP de modelo do vLLM, incluindo a configuração da conexão, cabeçalhos de resposta, streaming do corpo e a interrupção total do guarded-fetch. Prefira isso antes de aumentar agents.defaults.timeoutSeconds, que controla toda a execução do agente.

Verifique se o servidor vLLM está em execução e acessível:

curl http://127.0.0.1:8000/v1/models

Se você vir um erro de conexão, verifique o host, a porta e se o vLLM foi iniciado com o modo de servidor compatível com OpenAI. Para endpoints explícitos de loopback, LAN ou Tailscale, também defina models.providers.vllm.request.allowPrivateNetwork: true; requisições do provedor bloqueiam URLs de rede privada por padrão, a menos que o provedor seja explicitamente confiável.

Se as requisições falharem com erros de autenticação, defina uma VLLM_API_KEY real que corresponda à configuração do servidor, ou configure o provedor explicitamente em models.providers.vllm.

A descoberta automática exige que VLLM_API_KEY esteja definida e que não haja uma entrada explícita de configuração models.providers.vllm. Se você definiu o provedor manualmente, o OpenClaw ignora a descoberta e usa somente os modelos declarados.

Se um modelo Qwen imprimir a sintaxe de ferramenta em JSON/XML em vez de executar uma skill, consulte a orientação sobre Qwen na Configuração avançada acima. A correção usual é:

• iniciar o vLLM com o parser/template correto para esse modelo
• confirmar o ID exato do modelo com openclaw models list --provider vllm
• adicionar uma substituição dedicada por modelo params.extra_body.tool_choice: "required" somente se tool_choice: "auto" ainda retornar chamadas de ferramenta vazias ou apenas em texto