LiteLLM

LiteLLM คือ Gateway LLM แบบโอเพนซอร์สที่มี API แบบรวมศูนย์สำหรับผู้ให้บริการโมเดลมากกว่า 100 ราย เชื่อม OpenClaw ผ่าน LiteLLM เพื่อให้ได้การติดตามค่าใช้จ่าย การบันทึก log และความยืดหยุ่นในการสลับ backend โดยไม่ต้องเปลี่ยน config ของ OpenClaw

# เริ่มต้นอย่างรวดเร็ว

openclaw onboard --auth-choice litellm-api-key

openclaw onboard --non-interactive --auth-choice litellm-api-key --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

export LITELLM_API_KEY="your-litellm-key"

openclaw

# การกำหนดค่า

# ตัวแปรสภาพแวดล้อม

export LITELLM_API_KEY="sk-litellm-key"

# ไฟล์ config

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6",
            reasoning: true,
            input: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 64000,
          },
          {
            id: "gpt-4o",
            name: "GPT-4o",
            reasoning: false,
            input: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" },
    },
  },
}

# การกำหนดค่าขั้นสูง

# การสร้างภาพ

LiteLLM ยังสามารถรองรับเครื่องมือ image_generate ผ่านเส้นทางที่เข้ากันได้กับ OpenAI อย่าง /images/generations และ /images/edits กำหนดค่าโมเดลภาพของ LiteLLM ภายใต้ agents.defaults.imageGenerationModel:

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
      },
    },
  },
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "litellm/gpt-image-2",
        timeoutMs: 180_000,
      },
    },
  },
}

URL ของ LiteLLM แบบ loopback เช่น http://localhost:4000 ใช้งานได้โดยไม่ต้องมีการแทนที่ เครือข่ายส่วนตัวแบบ global สำหรับ proxy ที่โฮสต์บน LAN ให้ตั้งค่า models.providers.litellm.request.allowPrivateNetwork: true เพราะ API key จะถูกส่งไปยังโฮสต์ proxy ที่กำหนดค่าไว้

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "openclaw",
    "max_budget": 50.00,
    "budget_duration": "monthly"
  }'

model_list:
  - model_name: claude-opus-4-6
    litellm_params:
      model: claude-opus-4-6
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_key: os.environ/OPENAI_API_KEY

# Key info
curl "http://localhost:4000/key/info" \
  -H "Authorization: Bearer sk-litellm-key"

# Spend logs
curl "http://localhost:4000/spend/logs" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

# ที่เกี่ยวข้อง