Providers

SGLang

SGLang обслуговує моделі з відкритими вагами через HTTP API, сумісний з OpenAI. OpenClaw підключається до SGLang за допомогою сімейства провайдерів openai-completions з автоматичним виявленням доступних моделей.

Властивість Значення
Ідентифікатор провайдера sglang
Plugin вбудований, enabledByDefault: true
Змінна середовища автентифікації SGLANG_API_KEY (будь-яке непорожнє значення, якщо сервер не має автентифікації)
Прапорець первинного налаштування --auth-choice sglang
API сумісний з OpenAI (openai-completions)
Базова URL-адреса за замовчуванням http://127.0.0.1:30000/v1
Заповнювач моделі за замовчуванням sglang/Qwen/Qwen3-8B
Використання потокового передавання Так (supportsStreamingUsage: true)
Ціноутворення Позначено як зовнішнє безкоштовне (modelPricing.external: false)

OpenClaw також автоматично виявляє доступні моделі з SGLang, коли ви вмикаєте це через SGLANG_API_KEY і не визначаєте явний запис models.providers.sglang — див. Виявлення моделей (неявний провайдер) нижче.

Початок роботи

  • Запустіть SGLang

    Запустіть SGLang із сервером, сумісним з OpenAI. Ваша базова URL-адреса має надавати кінцеві точки /v1 (наприклад, /v1/models, /v1/chat/completions). SGLang зазвичай працює за адресою:

    • http://127.0.0.1:30000/v1
  • Установіть ключ API

    Будь-яке значення працює, якщо на вашому сервері не налаштовано автентифікацію:

    export SGLANG_API_KEY="sglang-local"
    
  • Запустіть первинне налаштування або задайте модель напряму

    openclaw onboard
    

    Або налаштуйте модель вручну:

    {
      agents: {
        defaults: {
          model: { primary: "sglang/your-model-id" },
        },
      },
    }
    
  • Виявлення моделей (неявний провайдер)

    Коли задано SGLANG_API_KEY (або існує профіль автентифікації) і ви не визначаєте models.providers.sglang, OpenClaw виконає запит:

    • GET http://127.0.0.1:30000/v1/models

    і перетворить повернуті ідентифікатори на записи моделей.

    Явна конфігурація (ручні моделі)

    Використовуйте явну конфігурацію, коли:

    • SGLang працює на іншому хості або порту.
    • Ви хочете зафіксувати значення contextWindow/maxTokens.
    • Ваш сервер потребує справжнього ключа API (або ви хочете контролювати заголовки).
    {
      models: {
        providers: {
          sglang: {
            baseUrl: "http://127.0.0.1:30000/v1",
            apiKey: "${SGLANG_API_KEY}",
            api: "openai-completions",
            models: [
              {
                id: "your-model-id",
                name: "Local SGLang Model",
                reasoning: false,
                input: ["text"],
                cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
                contextWindow: 128000,
                maxTokens: 8192,
              },
            ],
          },
        },
      },
    }
    

    Розширена конфігурація

    Поведінка в стилі проксі

    SGLang розглядається як проксі-бекенд /v1, сумісний з OpenAI, а не як нативна кінцева точка OpenAI.

    Поведінка SGLang
    Формування запитів лише для OpenAI Не застосовується
    service_tier, Responses store, підказки кешу промптів Не надсилаються
    Формування навантаження для сумісності з reasoning Не застосовується
    Приховані заголовки атрибуції (originator, version, User-Agent) Не додаються до користувацьких базових URL-адрес SGLang
    Усунення неполадок

    Сервер недоступний

    Переконайтеся, що сервер запущений і відповідає:

    curl http://127.0.0.1:30000/v1/models
    

    Помилки автентифікації

    Якщо запити завершуються помилками автентифікації, задайте справжній SGLANG_API_KEY, який відповідає конфігурації вашого сервера, або явно налаштуйте провайдера в models.providers.sglang.

    Пов’язане