LiteLLM

LiteLLM là một LLM Gateway mã nguồn mở cung cấp một API thống nhất cho hơn 100 nhà cung cấp mô hình. Định tuyến OpenClaw qua LiteLLM để có theo dõi chi phí tập trung, ghi log và khả năng linh hoạt chuyển backend mà không cần thay đổi cấu hình OpenClaw của bạn.

# Bắt đầu nhanh

openclaw onboard --auth-choice litellm-api-key

openclaw onboard --non-interactive --auth-choice litellm-api-key --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

export LITELLM_API_KEY="your-litellm-key"

openclaw

# Cấu hình

# Biến môi trường

export LITELLM_API_KEY="sk-litellm-key"

# Tệp cấu hình

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6",
            reasoning: true,
            input: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 64000,
          },
          {
            id: "gpt-4o",
            name: "GPT-4o",
            reasoning: false,
            input: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" },
    },
  },
}

# Cấu hình nâng cao

# Tạo hình ảnh

LiteLLM cũng có thể hỗ trợ công cụ image_generate thông qua các route tương thích OpenAI /images/generations và /images/edits. Cấu hình một mô hình hình ảnh LiteLLM trong agents.defaults.imageGenerationModel:

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
      },
    },
  },
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "litellm/gpt-image-2",
        timeoutMs: 180_000,
      },
    },
  },
}

Các URL LiteLLM loopback như http://localhost:4000 hoạt động mà không cần ghi đè mạng riêng toàn cục. Với proxy được lưu trữ trên LAN, hãy đặt models.providers.litellm.request.allowPrivateNetwork: true vì API key sẽ được gửi đến máy chủ proxy đã cấu hình.

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "openclaw",
    "max_budget": 50.00,
    "budget_duration": "monthly"
  }'

model_list:
  - model_name: claude-opus-4-6
    litellm_params:
      model: claude-opus-4-6
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_key: os.environ/OPENAI_API_KEY

# Key info
curl "http://localhost:4000/key/info" \
  -H "Authorization: Bearer sk-litellm-key"

# Spend logs
curl "http://localhost:4000/spend/logs" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

# Liên quan