LiteLLM

LiteLLM to otwartoźródłowy LLM gateway, który zapewnia ujednolicone API do ponad 100 dostawców modeli. Kieruj OpenClaw przez LiteLLM, aby uzyskać scentralizowane śledzenie kosztów, logowanie oraz elastyczność przełączania backendów bez zmiany konfiguracji OpenClaw.

# Szybki start

openclaw onboard --auth-choice litellm-api-key

openclaw onboard --non-interactive --auth-choice litellm-api-key --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

export LITELLM_API_KEY="your-litellm-key"

openclaw

# Konfiguracja

# Zmienne środowiskowe

export LITELLM_API_KEY="sk-litellm-key"

# Plik konfiguracyjny

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6",
            reasoning: true,
            input: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 64000,
          },
          {
            id: "gpt-4o",
            name: "GPT-4o",
            reasoning: false,
            input: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" },
    },
  },
}

# Konfiguracja zaawansowana

# Generowanie obrazów

LiteLLM może też obsługiwać narzędzie image_generate za pośrednictwem zgodnych z OpenAI tras /images/generations i /images/edits. Skonfiguruj model obrazów LiteLLM w agents.defaults.imageGenerationModel:

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
      },
    },
  },
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "litellm/gpt-image-2",
        timeoutMs: 180_000,
      },
    },
  },
}

Adresy URL LiteLLM dla local loopback, takie jak http://localhost:4000, działają bez globalnego nadpisania sieci prywatnej. W przypadku proxy hostowanego w sieci LAN ustaw models.providers.litellm.request.allowPrivateNetwork: true, ponieważ klucz API zostanie wysłany do skonfigurowanego hosta proxy.

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "openclaw",
    "max_budget": 50.00,
    "budget_duration": "monthly"
  }'

model_list:
  - model_name: claude-opus-4-6
    litellm_params:
      model: claude-opus-4-6
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_key: os.environ/OPENAI_API_KEY

# Key info
curl "http://localhost:4000/key/info" \
  -H "Authorization: Bearer sk-litellm-key"

# Spend logs
curl "http://localhost:4000/spend/logs" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

# Powiązane