ส่วนติดต่อผู้ใช้สำหรับควบคุม

• แชตกับโมเดลผ่าน Gateway WS (chat.history, chat.send, chat.abort, chat.inject)
• การรีเฟรชประวัติแชตจะขอหน้าต่างล่าสุดแบบจำกัดพร้อมเพดานข้อความต่อข้อความ เพื่อให้เซสชันขนาดใหญ่ไม่บังคับให้เบราว์เซอร์เรนเดอร์ payload ทรานสคริปต์ทั้งหมดก่อนที่แชตจะใช้งานได้
• พูดคุยผ่านเซสชันเรียลไทม์ของเบราว์เซอร์ OpenAI ใช้ WebRTC โดยตรง, Google Live ใช้โทเค็นเบราว์เซอร์แบบใช้ครั้งเดียวที่มีข้อจำกัดผ่าน WebSocket และ Plugin เสียงเรียลไทม์แบบ backend-only ใช้การขนส่งผ่านรีเลย์ของ Gateway เซสชันผู้ให้บริการที่ไคลเอนต์เป็นเจ้าของเริ่มด้วย talk.client.create; เซสชันรีเลย์ Gateway เริ่มด้วย talk.session.create รีเลย์เก็บข้อมูลประจำตัวของผู้ให้บริการไว้บน Gateway ขณะที่เบราว์เซอร์สตรีม PCM จากไมโครโฟนผ่าน talk.session.appendAudio และส่งต่อการเรียกเครื่องมือของผู้ให้บริการ openclaw_agent_consult ผ่าน talk.client.toolCall สำหรับนโยบาย Gateway และโมเดล OpenClaw ที่กำหนดค่าขนาดใหญ่กว่า
• สตรีมการเรียกเครื่องมือ + การ์ดเอาต์พุตเครื่องมือสดในแชต (เหตุการณ์เอเจนต์)

• ช่องทาง: สถานะช่องทางในตัวและช่องทาง Plugin แบบ bundled/ภายนอก, การเข้าสู่ระบบด้วย QR และคอนฟิกต่อช่องทาง (channels.status, web.login.*, config.patch)
• การรีเฟรชการตรวจสอบช่องทางจะคงสแนปช็อตก่อนหน้าให้มองเห็นได้ในขณะที่การตรวจสอบผู้ให้บริการที่ช้ากำลังเสร็จสิ้น และสแนปช็อตบางส่วนจะถูกติดป้ายเมื่อการ probe หรือ audit เกินงบเวลา UI
• อินสแตนซ์: รายการ presence + รีเฟรช (system-presence)
• เซสชัน: แสดงรายการเซสชันของเอเจนต์ที่กำหนดค่าไว้เป็นค่าเริ่มต้น, fallback จากคีย์เซสชันเอเจนต์ที่ไม่ได้กำหนดค่าซึ่งล้าสมัย และใช้การเขียนทับโมเดล/thinking/fast/verbose/trace/reasoning ต่อเซสชัน (sessions.list, sessions.patch)
• ความฝัน: สถานะ Dreaming, toggle เปิด/ปิด และตัวอ่าน Dream Diary (doctor.memory.status, doctor.memory.dreamDiary, config.patch)

• งาน Cron: แสดงรายการ/เพิ่ม/แก้ไข/รัน/เปิดใช้/ปิดใช้ + ประวัติการรัน (cron.*)
• Skills: สถานะ, เปิดใช้/ปิดใช้, ติดตั้ง, อัปเดต API key (skills.*)
• Node: รายการ + caps (node.list)
• การอนุมัติ exec: แก้ไข allowlist ของ Gateway หรือ Node + นโยบายการถามสำหรับ exec host=gateway/node (exec.approvals.*)

• ดู/แก้ไข ~/.openclaw/openclaw.json (config.get, config.set)
• ใช้งาน + รีสตาร์ตพร้อมการตรวจสอบความถูกต้อง (config.apply) และปลุกเซสชันที่ใช้งานล่าสุด
• การเขียนมีการป้องกันด้วย base-hash เพื่อป้องกันการเขียนทับการแก้ไขพร้อมกัน
• การเขียน (config.set/config.apply/config.patch) จะ preflight การแก้ไข SecretRef ที่ active สำหรับ refs ใน payload คอนฟิกที่ส่งมา; refs ที่ active และส่งมาซึ่งแก้ไขไม่ได้จะถูกปฏิเสธก่อนเขียน
• การเรนเดอร์ schema + ฟอร์ม (config.schema / config.schema.lookup รวมถึง title / description ของฟิลด์, คำใบ้ UI ที่จับคู่, สรุปลูกโดยตรง, เมตาดาต้าเอกสารบนโหนด object/wildcard/array/composition แบบซ้อน รวมถึง schema ของ Plugin + ช่องทางเมื่อมี); ตัวแก้ไข JSON ดิบมีให้ใช้เฉพาะเมื่อสแนปช็อตมี raw round-trip ที่ปลอดภัย
• หากสแนปช็อตไม่สามารถ round-trip ข้อความดิบได้อย่างปลอดภัย Control UI จะบังคับใช้โหมดฟอร์มและปิดโหมดดิบสำหรับสแนปช็อตนั้น
• "รีเซ็ตเป็นที่บันทึกไว้" ในตัวแก้ไข JSON ดิบจะคงรูปทรงที่เขียนแบบดิบไว้ (การจัดรูปแบบ, ความคิดเห็น, layout ของ $include) แทนการเรนเดอร์สแนปช็อตแบบ flatten ใหม่ เพื่อให้การแก้ไขจากภายนอกยังอยู่รอดหลังรีเซ็ตเมื่อสแนปช็อตสามารถ round-trip ได้อย่างปลอดภัย
• ค่าอ็อบเจกต์ SecretRef แบบมีโครงสร้างจะแสดงเป็นอ่านอย่างเดียวในช่องข้อความของฟอร์ม เพื่อป้องกันความเสียหายจากการแปลงอ็อบเจกต์เป็นสตริงโดยไม่ตั้งใจ

• ดีบัก: สแนปช็อตสถานะ/สุขภาพ/โมเดล + บันทึกเหตุการณ์ + การเรียก RPC ด้วยตนเอง (status, health, models.list)
• บันทึกเหตุการณ์รวมเวลารีเฟรช/RPC ของ Control UI, เวลาเรนเดอร์แชต/คอนฟิกที่ช้า และรายการความตอบสนองของเบราว์เซอร์สำหรับเฟรมแอนิเมชันยาวหรืองานยาวเมื่อเบราว์เซอร์เปิดเผยชนิดรายการ PerformanceObserver เหล่านั้น
• ล็อก: tail สดของล็อกไฟล์ Gateway พร้อมตัวกรอง/ส่งออก (logs.tail)
• อัปเดต: รันการอัปเดตแพ็กเกจ/git + รีสตาร์ต (update.run) พร้อมรายงานการรีสตาร์ต จากนั้น poll update.status หลังเชื่อมต่อใหม่เพื่อตรวจสอบเวอร์ชัน Gateway ที่กำลังทำงาน

• สำหรับงานแบบแยก การส่งมอบจะมีค่าเริ่มต้นเป็นการประกาศสรุป คุณสามารถเปลี่ยนเป็นไม่มีได้หากต้องการให้เป็นการรันภายในเท่านั้น
• ฟิลด์ช่องทาง/เป้าหมายจะปรากฏเมื่อเลือกประกาศ
• โหมด Webhook ใช้ delivery.mode = "webhook" โดยตั้งค่า delivery.to เป็น URL Webhook HTTP(S) ที่ถูกต้อง
• สำหรับงานเซสชันหลัก สามารถใช้โหมดการส่งมอบแบบ Webhook และไม่มีได้
• ตัวควบคุมการแก้ไขขั้นสูงรวมถึง delete-after-run, ล้างการเขียนทับเอเจนต์, ตัวเลือก cron exact/stagger, การเขียนทับโมเดล/thinking ของเอเจนต์ และ toggle การส่งมอบแบบ best-effort
• การตรวจสอบความถูกต้องของฟอร์มอยู่แบบ inline พร้อมข้อผิดพลาดระดับฟิลด์; ค่าที่ไม่ถูกต้องจะปิดปุ่มบันทึกจนกว่าจะแก้ไข
• ตั้งค่า cron.webhookToken เพื่อส่ง bearer token เฉพาะ หากละไว้ Webhook จะถูกส่งโดยไม่มีส่วนหัว auth
• fallback ที่เลิกใช้แล้ว: งาน legacy ที่จัดเก็บไว้พร้อม notify: true ยังสามารถใช้ cron.webhook ได้จนกว่าจะ migrate

• chat.send เป็นแบบ ไม่บล็อก: ตอบรับทันทีด้วย { runId, status: "started" } และสตรีมการตอบกลับผ่านเหตุการณ์ chat
• การอัปโหลดแชตรองรับรูปภาพพร้อมไฟล์ที่ไม่ใช่วิดีโอ รูปภาพจะคงพาธรูปภาพดั้งเดิมไว้ ส่วนไฟล์อื่นจะถูกจัดเก็บเป็นสื่อที่จัดการแล้วและแสดงในประวัติเป็นลิงก์ไฟล์แนบ
• การส่งซ้ำด้วย idempotencyKey เดิมจะคืนค่า { status: "in_flight" } ระหว่างที่กำลังทำงาน และ { status: "ok" } หลังเสร็จสิ้น
• การตอบกลับของ chat.history ถูกจำกัดขนาดเพื่อความปลอดภัยของ UI เมื่อรายการทรานสคริปต์ใหญ่เกินไป Gateway อาจตัดฟิลด์ข้อความยาวออก ละเว้นบล็อกเมตาดาต้าที่หนัก และแทนที่ข้อความที่ใหญ่เกินด้วยตัวแทน ([chat.history omitted: message too large])
• รูปภาพจากผู้ช่วย/ที่สร้างขึ้นจะถูกคงไว้เป็นการอ้างอิงสื่อที่จัดการแล้ว และให้บริการกลับผ่าน URL สื่อของ Gateway ที่ผ่านการยืนยันตัวตน ดังนั้นการโหลดซ้ำจึงไม่ขึ้นกับเพย์โหลดรูปภาพ base64 ดิบที่ยังอยู่ในการตอบกลับประวัติแชต
• เมื่อเรนเดอร์ chat.history Control UI จะลบแท็กคำสั่งอินไลน์ที่มีไว้เพื่อการแสดงผลเท่านั้นออกจากข้อความผู้ช่วยที่มองเห็นได้ (เช่น [[reply_to_*]] และ [[audio_as_voice]]), เพย์โหลด XML ของการเรียกเครื่องมือแบบข้อความธรรมดา (รวมถึง <tool_call>...</tool_call>, <function_call>...</function_call>, <tool_calls>...</tool_calls>, <function_calls>...</function_calls> และบล็อกการเรียกเครื่องมือที่ถูกตัดทอน), โทเค็นควบคุมโมเดล ASCII/แบบเต็มความกว้างที่รั่วออกมา และละเว้นรายการผู้ช่วยที่ข้อความที่มองเห็นทั้งหมดเป็นเพียงโทเค็นเงียบแบบตรงตัว NO_REPLY / no_reply หรือโทเค็นตอบรับ Heartbeat HEARTBEAT_OK
• ระหว่างการส่งที่ทำงานอยู่และการรีเฟรชประวัติครั้งสุดท้าย มุมมองแชตจะเก็บข้อความผู้ใช้/ผู้ช่วยแบบคาดการณ์ในเครื่องให้มองเห็นต่อไป หาก chat.history คืนสแนปชอตที่เก่ากว่าเป็นช่วงสั้น ๆ ทรานสคริปต์มาตรฐานจะแทนที่ข้อความในเครื่องเหล่านั้นเมื่อประวัติ Gateway ตามทัน
• เหตุการณ์ chat สดคือสถานะการส่งมอบ ส่วน chat.history ถูกสร้างใหม่จากทรานสคริปต์เซสชันที่คงทน หลังเหตุการณ์ tool-final Control UI จะโหลดประวัติซ้ำและรวมเฉพาะส่วนท้ายแบบคาดการณ์ขนาดเล็ก ขอบเขตทรานสคริปต์มีเอกสารไว้ใน WebChat
• chat.inject เพิ่มบันทึกของผู้ช่วยต่อท้ายทรานสคริปต์เซสชันและกระจายเหตุการณ์ chat สำหรับการอัปเดตเฉพาะ UI (ไม่มีการรันเอเจนต์ ไม่มีการส่งมอบช่องทาง)
• ส่วนหัวแชตแสดงตัวกรองเอเจนต์ก่อนตัวเลือกเซสชัน และตัวเลือกเซสชันถูกจำกัดขอบเขตตามเอเจนต์ที่เลือก การสลับเอเจนต์จะแสดงเฉพาะเซสชันที่ผูกกับเอเจนต์นั้น และย้อนกลับไปยังเซสชันหลักของเอเจนต์นั้นเมื่อยังไม่มีเซสชันแดชบอร์ดที่บันทึกไว้
• บนความกว้างเดสก์ท็อป ตัวควบคุมแชตจะอยู่ในแถวกะทัดรัดแถวเดียวและยุบเมื่อเลื่อนลงในทรานสคริปต์ การเลื่อนขึ้น กลับไปด้านบน หรือไปถึงด้านล่างจะคืนตัวควบคุมกลับมา
• ข้อความข้อความล้วนที่ซ้ำต่อเนื่องจะแสดงเป็นบับเบิลเดียวพร้อมป้ายจำนวน ข้อความที่มีรูปภาพ ไฟล์แนบ เอาต์พุตเครื่องมือ หรือพรีวิวแคนวาสจะไม่ถูกยุบ
• ตัวเลือกโมเดลและการคิดในส่วนหัวแชตจะแพตช์เซสชันที่ใช้งานทันทีผ่าน sessions.patch; สิ่งเหล่านี้เป็นการโอเวอร์ไรด์เซสชันแบบคงอยู่ ไม่ใช่ตัวเลือกการส่งสำหรับเทิร์นเดียวเท่านั้น
• การพิมพ์ /new ใน Control UI จะสร้างและสลับไปยังเซสชันแดชบอร์ดใหม่เดียวกับ New Chat การพิมพ์ /reset จะคงการรีเซ็ตในตำแหน่งเดิมแบบชัดเจนของ Gateway สำหรับเซสชันปัจจุบัน
• ตัวเลือกโมเดลแชตขอมุมมองโมเดลที่กำหนดค่าของ Gateway หากมี agents.defaults.models รายการอนุญาตนั้นจะขับเคลื่อนตัวเลือก มิฉะนั้นตัวเลือกจะแสดงรายการ models.providers.*.models ที่ชัดเจนพร้อมผู้ให้บริการที่มีการยืนยันตัวตนที่ใช้งานได้ แค็ตตาล็อกเต็มยังคงพร้อมใช้งานผ่าน RPC ดีบัก models.list พร้อม view: "all"
• เมื่อรายงานการใช้งานเซสชัน Gateway สดรวมโทเค็นบริบทปัจจุบัน พื้นที่ตัวเขียนแชตจะแสดงตัวบ่งชี้การใช้งานบริบทแบบกะทัดรัด ตัวบ่งชี้จะสลับเป็นสไตล์เตือนเมื่อแรงกดดันบริบทสูง และในระดับ Compaction ที่แนะนำ จะแสดงปุ่มกะทัดรัดที่เรียกใช้เส้นทาง Compaction เซสชันตามปกติ สแนปชอตโทเค็นที่ล้าสมัยจะถูกซ่อนไว้จนกว่า Gateway จะรายงานการใช้งานสดอีกครั้ง

โหมดพูดคุยใช้ผู้ให้บริการเสียงเรียลไทม์ที่ลงทะเบียนไว้ กำหนดค่า OpenAI ด้วย talk.realtime.provider: "openai" พร้อม talk.realtime.providers.openai.apiKey หรือกำหนดค่า Google ด้วย talk.realtime.provider: "google" พร้อม talk.realtime.providers.google.apiKey เบราว์เซอร์จะไม่ได้รับคีย์ API ของผู้ให้บริการมาตรฐาน OpenAI จะได้รับความลับไคลเอนต์ Realtime ชั่วคราวสำหรับ WebRTC Google Live จะได้รับโทเค็นยืนยันตัวตน Live API แบบจำกัดที่ใช้ครั้งเดียวสำหรับเซสชัน WebSocket ในเบราว์เซอร์ โดยมีคำสั่งและการประกาศเครื่องมือที่ Gateway ล็อกไว้ในโทเค็น ผู้ให้บริการที่เปิดเผยเฉพาะบริดจ์เรียลไทม์ฝั่งแบ็กเอนด์จะทำงานผ่านทรานสปอร์ตรีเลย์ของ Gateway ดังนั้นข้อมูลประจำตัวและซ็อกเก็ตผู้ขายจะอยู่ฝั่งเซิร์ฟเวอร์ ขณะที่เสียงของเบราว์เซอร์เคลื่อนผ่าน RPC ของ Gateway ที่ผ่านการยืนยันตัวตน พรอมป์เซสชัน Realtime ถูกประกอบโดย Gateway; talk.client.create ไม่ยอมรับการโอเวอร์ไรด์คำสั่งที่ผู้เรียกให้มา

ในตัวเขียน Chat ตัวควบคุม Talk คือปุ่มรูปคลื่นข้างปุ่มถอดเสียงจากไมโครโฟน เมื่อ Talk เริ่มต้น แถวสถานะของตัวเขียนจะแสดง Connecting Talk... จากนั้นแสดง Talk live ขณะเชื่อมต่อเสียง หรือ Asking OpenClaw... ขณะที่การเรียกเครื่องมือเรียลไทม์กำลังปรึกษาโมเดลขนาดใหญ่กว่าที่กำหนดค่าไว้ผ่าน talk.client.toolCall

การทดสอบสดแบบ smoke สำหรับผู้ดูแล: OPENAI_API_KEY=... GEMINI_API_KEY=... node --import tsx scripts/dev/realtime-talk-live-smoke.ts ตรวจสอบการแลกเปลี่ยน SDP ของ OpenAI WebRTC ในเบราว์เซอร์, การตั้งค่า WebSocket เบราว์เซอร์ของ Google Live ด้วยโทเค็นจำกัด และอะแดปเตอร์เบราว์เซอร์รีเลย์ของ Gateway พร้อมสื่อไมโครโฟนจำลอง คำสั่งนี้พิมพ์เฉพาะสถานะผู้ให้บริการและไม่บันทึกความลับ

• คลิก Stop (เรียก chat.abort)
• ขณะที่การรันทำงานอยู่ การติดตามผลปกติจะเข้าคิว คลิก Steer บนข้อความที่เข้าคิวเพื่อฉีดการติดตามผลนั้นเข้าไปในเทิร์นที่กำลังรัน
• พิมพ์ /stop (หรือวลีขอยกเลิกแบบเดี่ยว เช่น stop, stop action, stop run, stop openclaw, please stop) เพื่อยกเลิกนอกแถบ
• chat.abort รองรับ { sessionKey } (ไม่มี runId) เพื่อยกเลิกการรันที่ใช้งานอยู่ทั้งหมดสำหรับเซสชันนั้น

• เมื่อการรันถูกยกเลิก ข้อความผู้ช่วยบางส่วนยังสามารถแสดงใน UI ได้
• Gateway จะคงข้อความผู้ช่วยบางส่วนที่ถูกยกเลิกไว้ในประวัติทรานสคริปต์เมื่อมีเอาต์พุตที่บัฟเฟอร์ไว้
• รายการที่คงไว้จะรวมเมตาดาตาการยกเลิก เพื่อให้ผู้บริโภคทรานสคริปต์แยกข้อความบางส่วนจากการยกเลิกออกจากเอาต์พุตการเสร็จสิ้นตามปกติได้

{
  gateway: {
    controlUi: { allowInsecureAuth: true },
    bind: "tailnet",
    auth: { mode: "token", token: "replace-me" },
  },
}

allowInsecureAuth เป็นตัวสลับความเข้ากันได้ในเครื่องเท่านั้น:

• อนุญาตให้เซสชันอินเทอร์เฟซควบคุมบน localhost ดำเนินต่อได้โดยไม่มีข้อมูลระบุตัวตนของอุปกรณ์ในบริบท HTTP ที่ไม่ปลอดภัย
• ไม่ข้ามการตรวจสอบการจับคู่
• ไม่ผ่อนคลายข้อกำหนดข้อมูลระบุตัวตนของอุปกรณ์ระยะไกล (ที่ไม่ใช่ localhost)

{
  gateway: {
    controlUi: { dangerouslyDisableDeviceAuth: true },
    bind: "tailnet",
    auth: { mode: "token", token: "replace-me" },
  },
}

• การยืนยันตัวตนแบบ trusted-proxy ที่สำเร็จสามารถอนุญาตเซสชันอินเทอร์เฟซควบคุมของ ผู้ปฏิบัติการ โดยไม่มีข้อมูลระบุตัวตนอุปกรณ์ได้
• สิ่งนี้ ไม่ ครอบคลุมถึงเซสชันอินเทอร์เฟซควบคุมสำหรับบทบาท Node
• พร็อกซีย้อนกลับแบบลูปแบ็กบนโฮสต์เดียวกันยังไม่เข้าเงื่อนไขการยืนยันตัวตนแบบ trusted-proxy; ดู การยืนยันตัวตนพร็อกซีที่เชื่อถือได้

• gatewayUrl จะถูกเก็บไว้ใน localStorage หลังโหลดและถูกนำออกจาก URL
• หากคุณส่งปลายทาง ws:// หรือ wss:// แบบเต็มผ่าน gatewayUrl ให้เข้ารหัสค่า gatewayUrl สำหรับ URL เพื่อให้เบราว์เซอร์แยกวิเคราะห์สตริงคำขอได้อย่างถูกต้อง
• ควรส่ง token ผ่านส่วน fragment ของ URL (#token=...) เมื่อเป็นไปได้ Fragment จะไม่ถูกส่งไปยังเซิร์ฟเวอร์ ซึ่งหลีกเลี่ยงการรั่วไหลในบันทึกคำขอและ Referer พารามิเตอร์คำขอแบบเดิม ?token= ยังคงถูกนำเข้าเพียงครั้งเดียวเพื่อความเข้ากันได้ แต่เป็นเพียงทางสำรองเท่านั้น และจะถูกตัดออกทันทีหลัง bootstrap
• password จะเก็บไว้ในหน่วยความจำเท่านั้น
• เมื่อกำหนด gatewayUrl แล้ว อินเทอร์เฟซจะไม่ถอยกลับไปใช้ข้อมูลประจำตัวจากการกำหนดค่าหรือสภาพแวดล้อม ระบุ token (หรือ password) อย่างชัดเจน การไม่มีข้อมูลประจำตัวที่ระบุอย่างชัดเจนถือเป็นข้อผิดพลาด
• ใช้ wss:// เมื่อ Gateway อยู่หลัง TLS (Tailscale Serve, พร็อกซี HTTPS ฯลฯ)
• gatewayUrl จะยอมรับเฉพาะในหน้าต่างระดับบนสุด (ไม่ใช่แบบฝัง) เพื่อป้องกัน clickjacking
• การปรับใช้インเทอร์เฟซควบคุมที่ไม่ใช่ลูปแบ็กต้องกำหนด gateway.controlUi.allowedOrigins อย่างชัดเจน (ต้นทางแบบเต็ม) ซึ่งรวมถึงการตั้งค่าพัฒนาแบบระยะไกล
• การเริ่มต้น Gateway อาจเติมต้นทางในเครื่อง เช่น http://localhost:<port> และ http://127.0.0.1:<port> จาก bind และพอร์ตขณะรันไทม์ที่มีผล แต่ต้นทางของเบราว์เซอร์ระยะไกลยังคงต้องมีรายการที่ระบุอย่างชัดเจน
• อย่าใช้ gateway.controlUi.allowedOrigins: ["*"] ยกเว้นสำหรับการทดสอบในเครื่องที่ควบคุมอย่างเข้มงวด หมายถึงอนุญาตทุกต้นทางของเบราว์เซอร์ ไม่ใช่ "จับคู่โฮสต์ใดก็ตามที่ฉันกำลังใช้"
• gateway.controlUi.dangerouslyAllowHostHeaderOriginFallback=true เปิดใช้งานโหมดถอยกลับต้นทางจากส่วนหัว Host แต่เป็นโหมดความปลอดภัยที่อันตราย