Hugging Face (suy luận)

OpenClaw khám phá mô hình bằng cách gọi trực tiếp Inference endpoint:

GET https://router.huggingface.co/v1/models

(Tùy chọn: gửi Authorization: Bearer $HUGGINGFACE_HUB_TOKEN hoặc $HF_TOKEN để lấy danh sách đầy đủ; một số endpoint trả về tập con khi không xác thực.) Phản hồi theo kiểu OpenAI { "object": "list", "data": [ { "id": "Qwen/Qwen3-8B", "owned_by": "Qwen", ... }, ... ] }.

Khi bạn cấu hình khóa API Hugging Face (qua onboarding, HUGGINGFACE_HUB_TOKEN hoặc HF_TOKEN), OpenClaw dùng GET này để khám phá các mô hình chat-completion khả dụng. Trong thiết lập tương tác, sau khi nhập token, bạn sẽ thấy menu thả xuống Default Hugging Face model được điền từ danh sách đó (hoặc danh mục tích hợp sẵn nếu yêu cầu thất bại). Khi chạy (ví dụ lúc khởi động Gateway), nếu có khóa, OpenClaw lại gọi GET https://router.huggingface.co/v1/models để làm mới danh mục. Danh sách được hợp nhất với danh mục tích hợp sẵn (cho metadata như cửa sổ ngữ cảnh và chi phí). Nếu yêu cầu thất bại hoặc không đặt khóa, chỉ danh mục tích hợp sẵn được dùng.

• Tên từ API: Tên hiển thị của mô hình được bổ sung từ GET /v1/models khi API trả về name, title hoặc display_name; nếu không, tên được suy ra từ ID mô hình (ví dụ deepseek-ai/DeepSeek-R1 trở thành "DeepSeek R1").
• Ghi đè tên hiển thị: Bạn có thể đặt nhãn tùy chỉnh cho từng mô hình trong cấu hình để nó hiển thị theo cách bạn muốn trong CLI và UI:

{
  agents: {
    defaults: {
      models: {
        "huggingface/deepseek-ai/DeepSeek-R1": { alias: "DeepSeek R1 (fast)" },
        "huggingface/deepseek-ai/DeepSeek-R1:cheapest": { alias: "DeepSeek R1 (cheap)" },
      },
    },
  },
}

• Hậu tố chính sách: Tài liệu và helper Hugging Face đi kèm OpenClaw hiện coi hai hậu tố này là các biến thể chính sách tích hợp sẵn:

  • :fastest — thông lượng cao nhất.
  • :cheapest — chi phí thấp nhất cho mỗi token đầu ra.

  Bạn có thể thêm chúng làm mục riêng trong models.providers.huggingface.models hoặc đặt model.primary kèm hậu tố. Bạn cũng có thể đặt thứ tự nhà cung cấp mặc định trong cài đặt Inference Provider (không có hậu tố = dùng thứ tự đó).

• Hợp nhất cấu hình: Các mục hiện có trong models.providers.huggingface.models (ví dụ trong models.json) được giữ lại khi cấu hình được hợp nhất. Vì vậy, mọi name, alias hoặc tùy chọn mô hình tùy chỉnh bạn đặt ở đó đều được giữ nguyên.

Nếu Gateway chạy dưới dạng daemon (launchd/systemd), hãy đảm bảo HUGGINGFACE_HUB_TOKEN hoặc HF_TOKEN khả dụng cho tiến trình đó (ví dụ trong ~/.openclaw/.env hoặc qua env.shellEnv).

{
  agents: {
    defaults: {
      model: {
        primary: "huggingface/deepseek-ai/DeepSeek-R1",
        fallbacks: ["huggingface/Qwen/Qwen3-8B"],
      },
      models: {
        "huggingface/deepseek-ai/DeepSeek-R1": { alias: "DeepSeek R1" },
        "huggingface/Qwen/Qwen3-8B": { alias: "Qwen3 8B" },
      },
    },
  },
}

{
  agents: {
    defaults: {
      model: { primary: "huggingface/Qwen/Qwen3-8B" },
      models: {
        "huggingface/Qwen/Qwen3-8B": { alias: "Qwen3 8B" },
        "huggingface/Qwen/Qwen3-8B:cheapest": { alias: "Qwen3 8B (cheapest)" },
        "huggingface/Qwen/Qwen3-8B:fastest": { alias: "Qwen3 8B (fastest)" },
      },
    },
  },
}

{
  agents: {
    defaults: {
      model: {
        primary: "huggingface/deepseek-ai/DeepSeek-V3.2",
        fallbacks: [
          "huggingface/meta-llama/Llama-3.3-70B-Instruct",
          "huggingface/openai/gpt-oss-120b",
        ],
      },
      models: {
        "huggingface/deepseek-ai/DeepSeek-V3.2": { alias: "DeepSeek V3.2" },
        "huggingface/meta-llama/Llama-3.3-70B-Instruct": { alias: "Llama 3.3 70B" },
        "huggingface/openai/gpt-oss-120b": { alias: "GPT-OSS 120B" },
      },
    },
  },
}

{
  agents: {
    defaults: {
      model: { primary: "huggingface/Qwen/Qwen2.5-7B-Instruct:cheapest" },
      models: {
        "huggingface/Qwen/Qwen2.5-7B-Instruct": { alias: "Qwen2.5 7B" },
        "huggingface/Qwen/Qwen2.5-7B-Instruct:cheapest": { alias: "Qwen2.5 7B (cheap)" },
        "huggingface/deepseek-ai/DeepSeek-R1:fastest": { alias: "DeepSeek R1 (fast)" },
        "huggingface/meta-llama/Llama-3.1-8B-Instruct": { alias: "Llama 3.1 8B" },
      },
    },
  },
}