การดึงข้อมูลจากเว็บ

เครื่องมือ web_fetch ทำ HTTP GET แบบธรรมดาและดึงเนื้อหาที่อ่านได้ (HTML เป็น markdown หรือข้อความ) เครื่องมือนี้ ไม่ เรียกใช้ JavaScript.

สำหรับเว็บไซต์ที่ใช้ JS หนักหรือหน้าที่ป้องกันด้วยการเข้าสู่ระบบ ให้ใช้ เว็บเบราว์เซอร์ แทน

# เริ่มต้นอย่างรวดเร็ว

web_fetch เปิดใช้งานตามค่าเริ่มต้น -- ไม่ต้องกำหนดค่า Agent สามารถ เรียกใช้ได้ทันที:

await web_fetch({ url: "https://example.com/article" });

# พารามิเตอร์ของเครื่องมือ

urlstringrequired

URL ที่จะดึงข้อมูล รองรับเฉพาะ http(s) เท่านั้น

extractMode'markdown' | 'text'

รูปแบบเอาต์พุตหลังจากดึงเนื้อหาหลักแล้ว

maxCharsnumber

ตัดเอาต์พุตให้เหลือจำนวนอักขระเท่านี้

# วิธีการทำงาน

# การกำหนดค่า

{
  tools: {
    web: {
      fetch: {
        enabled: true, // default: true
        provider: "firecrawl", // optional; omit for auto-detect
        maxChars: 50000, // max output chars
        maxCharsCap: 50000, // hard cap for maxChars param
        maxResponseBytes: 2000000, // max download size before truncation
        timeoutSeconds: 30,
        cacheTtlMinutes: 15,
        maxRedirects: 3,
        useTrustedEnvProxy: false, // let a trusted HTTP(S) env proxy resolve DNS
        readability: true, // use Readability extraction
        userAgent: "Mozilla/5.0 ...", // override User-Agent
        ssrfPolicy: {
          allowRfc2544BenchmarkRange: true, // opt-in for trusted fake-IP proxies using 198.18.0.0/15
          allowIpv6UniqueLocalRange: true, // opt-in for trusted fake-IP proxies using fc00::/7
        },
      },
    },
  },
}

# Firecrawl สำรอง

หากการดึงข้อมูลด้วย Readability ล้มเหลว web_fetch สามารถสำรองไปใช้ Firecrawl เพื่อหลบเลี่ยงบอตและดึงข้อมูลได้ดีขึ้น:

{
  tools: {
    web: {
      fetch: {
        provider: "firecrawl", // optional; omit for auto-detect from available credentials
      },
    },
  },
  plugins: {
    entries: {
      firecrawl: {
        enabled: true,
        config: {
          webFetch: {
            apiKey: "fc-...", // optional if FIRECRAWL_API_KEY is set
            baseUrl: "https://api.firecrawl.dev",
            onlyMainContent: true,
            maxAgeMs: 86400000, // cache duration (1 day)
            timeoutSeconds: 60,
          },
        },
      },
    },
  },
}

plugins.entries.firecrawl.config.webFetch.apiKey รองรับออบเจ็กต์ SecretRef การกำหนดค่าเดิม tools.web.fetch.firecrawl.* จะถูกย้ายโดยอัตโนมัติด้วย openclaw doctor --fix

พฤติกรรม runtime ปัจจุบัน:

• tools.web.fetch.provider เลือกผู้ให้บริการสำรองสำหรับการดึงข้อมูลอย่างชัดเจน
• หากละ provider ไว้ OpenClaw จะตรวจหา provider สำหรับ web-fetch ตัวแรกที่พร้อมใช้งาน จากข้อมูลรับรองที่มีโดยอัตโนมัติ web_fetch ที่ไม่อยู่ใน sandbox สามารถใช้ plugins ที่ติดตั้งไว้ซึ่งประกาศ contracts.webFetchProviders และลงทะเบียน provider ที่ตรงกันใน runtime ได้ ปัจจุบัน provider ที่รวมมาให้คือ Firecrawl
• การเรียก web_fetch แบบ sandboxed ยังคงจำกัดไว้เฉพาะ provider ที่รวมมาให้
• หากปิดใช้งาน Readability web_fetch จะข้ามตรงไปยัง provider สำรองที่เลือกไว้ หากไม่มี provider ที่พร้อมใช้งาน จะล้มเหลวแบบปิด

# พร็อกซี env ที่เชื่อถือได้

หาก deployment ของคุณต้องให้ web_fetch ผ่านพร็อกซีขาออก HTTP(S) ที่เชื่อถือได้ ให้ตั้งค่า tools.web.fetch.useTrustedEnvProxy: true

ในโหมดนี้ OpenClaw ยังคงใช้การตรวจ SSRF ตามชื่อโฮสต์ก่อนส่งคำขอ แต่จะให้พร็อกซี resolve DNS แทนการทำ DNS pinning ภายในเครื่อง เปิดใช้สิ่งนี้เฉพาะเมื่อพร็อกซีถูกควบคุมโดยผู้ปฏิบัติการและบังคับใช้นโยบาย ขาออกหลังจากการ resolve DNS แล้วเท่านั้น

# ขีดจำกัดและความปลอดภัย

• maxChars ถูกจำกัดไม่ให้เกิน tools.web.fetch.maxCharsCap
• เนื้อหาการตอบกลับถูกจำกัดที่ maxResponseBytes ก่อน parsing; การตอบกลับที่ใหญ่เกินไป จะถูกตัดพร้อมคำเตือน
• ชื่อโฮสต์ส่วนตัว/ภายในถูกบล็อก
• tools.web.fetch.ssrfPolicy.allowRfc2544BenchmarkRange และ tools.web.fetch.ssrfPolicy.allowIpv6UniqueLocalRange เป็นการ opt-in แบบจำกัด สำหรับสแต็กพร็อกซี fake-IP ที่เชื่อถือได้; อย่าตั้งค่าเว้นแต่พร็อกซีของคุณเป็นเจ้าของ ช่วงสังเคราะห์เหล่านั้นและบังคับใช้นโยบายปลายทางของตัวเอง
• การเปลี่ยนเส้นทางจะถูกตรวจสอบและจำกัดด้วย maxRedirects
• useTrustedEnvProxy เป็นการ opt-in ที่ชัดเจน และควรเปิดใช้เฉพาะกับ พร็อกซีที่ถูกควบคุมโดยผู้ปฏิบัติการซึ่งยังคงบังคับใช้นโยบายขาออกหลังจาก การ resolve DNS
• web_fetch เป็นแบบ best-effort -- บางเว็บไซต์ต้องใช้ เว็บเบราว์เซอร์

# โปรไฟล์เครื่องมือ

หากคุณใช้โปรไฟล์เครื่องมือหรือ allowlists ให้เพิ่ม web_fetch หรือ group:web:

{
  tools: {
    allow: ["web_fetch"],
    // or: allow: ["group:web"]  (includes web_fetch, web_search, and x_search)
  },
}

# ที่เกี่ยวข้อง

• การค้นหาเว็บ -- ค้นหาเว็บด้วย provider หลายตัว
• เว็บเบราว์เซอร์ -- ระบบอัตโนมัติของเบราว์เซอร์เต็มรูปแบบสำหรับเว็บไซต์ที่ใช้ JS หนัก
• Firecrawl -- เครื่องมือค้นหาและ scrape ของ Firecrawl