Providers

SGLang

SGLang menyajikan model berbobot terbuka melalui API HTTP yang kompatibel dengan OpenAI. OpenClaw terhubung ke SGLang menggunakan keluarga penyedia openai-completions dengan penemuan otomatis model yang tersedia.

Properti Nilai
ID penyedia sglang
Plugin dibundel, enabledByDefault: true
Variabel env autentikasi SGLANG_API_KEY (nilai tidak kosong apa pun jika server tidak memiliki autentikasi)
Flag onboarding --auth-choice sglang
API kompatibel dengan OpenAI (openai-completions)
URL dasar bawaan http://127.0.0.1:30000/v1
Placeholder model bawaan sglang/Qwen/Qwen3-8B
Penggunaan streaming Ya (supportsStreamingUsage: true)
Harga Ditandai tanpa biaya eksternal (modelPricing.external: false)

OpenClaw juga menemukan secara otomatis model yang tersedia dari SGLang saat Anda ikut serta dengan SGLANG_API_KEY dan Anda tidak mendefinisikan entri models.providers.sglang secara eksplisit — lihat Penemuan model (penyedia implisit) di bawah.

Memulai

  • Mulai SGLang

    Jalankan SGLang dengan server yang kompatibel dengan OpenAI. URL dasar Anda harus mengekspos endpoint /v1 (misalnya /v1/models, /v1/chat/completions). SGLang umumnya berjalan di:

    • http://127.0.0.1:30000/v1
  • Tetapkan kunci API

    Nilai apa pun berfungsi jika tidak ada autentikasi yang dikonfigurasi di server Anda:

    export SGLANG_API_KEY="sglang-local"
    
  • Jalankan onboarding atau tetapkan model secara langsung

    openclaw onboard
    

    Atau konfigurasikan model secara manual:

    {
      agents: {
        defaults: {
          model: { primary: "sglang/your-model-id" },
        },
      },
    }
    
  • Penemuan model (penyedia implisit)

    Saat SGLANG_API_KEY ditetapkan (atau profil autentikasi ada) dan Anda tidak mendefinisikan models.providers.sglang, OpenClaw akan mengueri:

    • GET http://127.0.0.1:30000/v1/models

    dan mengonversi ID yang dikembalikan menjadi entri model.

    Konfigurasi eksplisit (model manual)

    Gunakan konfigurasi eksplisit saat:

    • SGLang berjalan pada host/port yang berbeda.
    • Anda ingin menyematkan nilai contextWindow/maxTokens.
    • Server Anda memerlukan kunci API sungguhan (atau Anda ingin mengontrol header).
    {
      models: {
        providers: {
          sglang: {
            baseUrl: "http://127.0.0.1:30000/v1",
            apiKey: "${SGLANG_API_KEY}",
            api: "openai-completions",
            models: [
              {
                id: "your-model-id",
                name: "Local SGLang Model",
                reasoning: false,
                input: ["text"],
                cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
                contextWindow: 128000,
                maxTokens: 8192,
              },
            ],
          },
        },
      },
    }
    

    Konfigurasi lanjutan

    Perilaku bergaya proxy

    SGLang diperlakukan sebagai backend /v1 kompatibel OpenAI bergaya proxy, bukan endpoint OpenAI native.

    Perilaku SGLang
    Pembentukan permintaan khusus OpenAI Tidak diterapkan
    service_tier, Responses store, petunjuk cache prompt Tidak dikirim
    Pembentukan payload kompatibilitas reasoning Tidak diterapkan
    Header atribusi tersembunyi (originator, version, User-Agent) Tidak disuntikkan pada URL dasar SGLang khusus
    Pemecahan masalah

    Server tidak dapat dijangkau

    Verifikasi bahwa server sedang berjalan dan merespons:

    curl http://127.0.0.1:30000/v1/models
    

    Kesalahan autentikasi

    Jika permintaan gagal dengan kesalahan autentikasi, tetapkan SGLANG_API_KEY sungguhan yang cocok dengan konfigurasi server Anda, atau konfigurasikan penyedia secara eksplisit di bawah models.providers.sglang.

    Terkait