Steuerungsoberfläche

• Chatten Sie mit dem Modell über Gateway WS (chat.history, chat.send, chat.abort, chat.inject).
• Chatverlaufs-Aktualisierungen fordern ein begrenztes aktuelles Fenster mit Textobergrenzen pro Nachricht an, damit große Sitzungen den Browser nicht zwingen, eine vollständige Transcript-Nutzlast zu rendern, bevor der Chat nutzbar wird.
• Sprechen Sie über Browser-Echtzeitsitzungen. OpenAI verwendet direktes WebRTC, Google Live verwendet ein eingeschränktes einmalig nutzbares Browser-Token über WebSocket, und rein backendseitige Echtzeit-Sprach-Plugins verwenden den Gateway-Relay-Transport. Client-eigene Provider-Sitzungen starten mit talk.client.create; Gateway-Relay-Sitzungen starten mit talk.session.create. Das Relay hält Provider-Anmeldedaten auf dem Gateway, während der Browser Mikrofon-PCM über talk.session.appendAudio streamt und openclaw_agent_consult-Provider-Toolaufrufe über talk.client.toolCall für Gateway-Richtlinien und das größere konfigurierte OpenClaw-Modell weiterleitet.
• Streamen Sie Toolaufrufe und Live-Tool-Ausgabekarten im Chat (Agent-Ereignisse).

• Kanäle: Status integrierter sowie gebündelter/externer Plugin-Kanäle, QR-Login und kanalbezogene Konfiguration (channels.status, web.login.*, config.patch).
• Kanal-Probe-Aktualisierungen halten den vorherigen Snapshot sichtbar, während langsame Provider-Prüfungen abgeschlossen werden, und Teilsnapshots werden gekennzeichnet, wenn eine Probe oder Prüfung ihr UI-Budget überschreitet.
• Instanzen: Präsenzliste und Aktualisierung (system-presence).
• Sitzungen: Liste und sitzungsbezogene Überschreibungen für Modell/Denken/Schnell/Ausführlich/Trace/Reasoning (sessions.list, sessions.patch).
• Träume: Dreaming-Status, Aktivieren/Deaktivieren-Schalter und Traumtagebuch-Leser (doctor.memory.status, doctor.memory.dreamDiary, config.patch).

• Cron-Jobs: auflisten/hinzufügen/bearbeiten/ausführen/aktivieren/deaktivieren und Ausführungsverlauf (cron.*).
• Skills: Status, aktivieren/deaktivieren, installieren, API-Schlüssel aktualisieren (skills.*).
• Nodes: Liste und Capabilities (node.list).
• Exec-Genehmigungen: Gateway- oder Node-Allowlists und Abfragerichtlinie für exec host=gateway/node bearbeiten (exec.approvals.*).

• ~/.openclaw/openclaw.json anzeigen/bearbeiten (config.get, config.set).
• Mit Validierung anwenden und neu starten (config.apply) sowie die zuletzt aktive Sitzung aufwecken.
• Schreibvorgänge enthalten einen Base-Hash-Schutz, um das Überschreiben gleichzeitiger Bearbeitungen zu verhindern.
• Schreibvorgänge (config.set/config.apply/config.patch) prüfen vorab die aktive SecretRef-Auflösung für Refs in der übermittelten Konfigurationsnutzlast; nicht aufgelöste aktive übermittelte Refs werden vor dem Schreiben abgelehnt.
• Schema- und Formular-Rendering (config.schema / config.schema.lookup, einschließlich Feld title / description, passender UI-Hinweise, Zusammenfassungen direkter untergeordneter Elemente, Dokumentationsmetadaten auf verschachtelten Objekt-/Wildcard-/Array-/Kompositionsknoten sowie Plugin- und Kanalschemata, sofern verfügbar); der Raw-JSON-Editor ist nur verfügbar, wenn der Snapshot einen sicheren Raw-Roundtrip hat.
• Wenn ein Snapshot Raw-Text nicht sicher im Roundtrip verarbeiten kann, erzwingt die Control UI den Formularmodus und deaktiviert den Raw-Modus für diesen Snapshot.
• „Auf gespeichert zurücksetzen“ im Raw-JSON-Editor bewahrt die roh verfasste Form (Formatierung, Kommentare, $include-Layout), anstatt einen abgeflachten Snapshot neu zu rendern, sodass externe Bearbeitungen einen Reset überstehen, wenn der Snapshot sicher einen Roundtrip durchführen kann.
• Strukturierte SecretRef-Objektwerte werden in Formular-Texteingaben schreibgeschützt gerendert, um versehentliche Objekt-zu-String-Beschädigung zu verhindern.

• Debug: Status-/Health-/Modell-Snapshots sowie Ereignisprotokoll und manuelle RPC-Aufrufe (status, health, models.list).
• Das Ereignisprotokoll enthält Control UI-Aktualisierungs-/RPC-Zeiten, langsame Chat-/Konfigurations-Renderzeiten und Einträge zur Browser-Reaktionsfähigkeit für lange Animationsframes oder lange Tasks, wenn der Browser diese PerformanceObserver-Eintragstypen bereitstellt.
• Protokolle: Live-Tail von Gateway-Dateiprotokollen mit Filter/Export (logs.tail).
• Aktualisierung: Paket-/Git-Aktualisierung ausführen und neu starten (update.run) mit einem Neustartbericht, dann nach der Wiederverbindung update.status abfragen, um die laufende Gateway-Version zu verifizieren.

• Für isolierte Jobs ist die Zustellung standardmäßig auf Ankündigungszusammenfassung gesetzt. Sie können auf „keine“ umstellen, wenn Sie nur interne Ausführungen wünschen.
• Kanal-/Zielfelder werden angezeigt, wenn „Ankündigen“ ausgewählt ist.
• Webhook-Modus verwendet delivery.mode = "webhook" mit delivery.to, das auf eine gültige HTTP(S)-Webhook-URL gesetzt ist.
• Für Hauptsitzungs-Jobs sind die Zustellmodi Webhook und „keine“ verfügbar.
• Erweiterte Bearbeitungssteuerelemente umfassen Löschen-nach-Ausführung, Agent-Überschreibung löschen, Cron-Exakt-/Versatzoptionen, Agent-Modell-/Denk-Überschreibungen und Best-Effort-Zustellungsschalter.
• Die Formularvalidierung erfolgt inline mit Fehlern auf Feldebene; ungültige Werte deaktivieren die Speichern-Schaltfläche, bis sie korrigiert sind.
• Setzen Sie cron.webhookToken, um ein dediziertes Bearer-Token zu senden; wenn es ausgelassen wird, wird der Webhook ohne Authentifizierungsheader gesendet.
• Veralteter Fallback: gespeicherte Legacy-Jobs mit notify: true können weiterhin cron.webhook verwenden, bis sie migriert wurden.

• chat.send ist nicht blockierend: Es bestätigt sofort mit { runId, status: "started" }, und die Antwort wird über chat-Ereignisse gestreamt.
• Chat-Uploads akzeptieren Bilder sowie Nicht-Video-Dateien. Bilder behalten den nativen Bildpfad; andere Dateien werden als verwaltete Medien gespeichert und im Verlauf als Anhangslinks angezeigt.
• Erneutes Senden mit demselben idempotencyKey gibt während der Ausführung { status: "in_flight" } und nach Abschluss { status: "ok" } zurück.
• chat.history-Antworten sind zur UI-Sicherheit größenbegrenzt. Wenn Transkripteinträge zu groß sind, kann der Gateway lange Textfelder kürzen, umfangreiche Metadatenblöcke auslassen und übergroße Nachrichten durch einen Platzhalter ([chat.history omitted: message too large]) ersetzen.
• Vom Assistant generierte Bilder werden als verwaltete Medienreferenzen persistiert und über authentifizierte Gateway-Medien-URLs wieder ausgeliefert, sodass Neuladevorgänge nicht davon abhängen, dass rohe base64-Bilddaten in der Chat-Verlaufsantwort verbleiben.
• Beim Rendern von chat.history entfernt die Control UI nur für die Anzeige bestimmte Inline-Direktiv-Tags aus sichtbarem Assistant-Text (zum Beispiel [[reply_to_*]] und [[audio_as_voice]]), Nur-Text-XML-Nutzlasten von Tool-Aufrufen (einschließlich <tool_call>...</tool_call>, <function_call>...</function_call>, <tool_calls>...</tool_calls>, <function_calls>...</function_calls> und gekürzter Tool-Aufrufblöcke) sowie durchgesickerte ASCII-/Vollbreiten-Modellsteuerungstoken und lässt Assistant-Einträge aus, deren gesamter sichtbarer Text nur das exakte stille Token NO_REPLY / no_reply oder das Heartbeat-Bestätigungstoken HEARTBEAT_OK ist.
• Während eines aktiven Sendevorgangs und der abschließenden Verlaufsaktualisierung hält die Chat-Ansicht lokale optimistische Benutzer-/Assistant-Nachrichten sichtbar, wenn chat.history kurzzeitig einen älteren Snapshot zurückgibt; das kanonische Transkript ersetzt diese lokalen Nachrichten, sobald der Gateway-Verlauf aufgeholt hat.
• Live-chat-Ereignisse sind Zustellstatus, während chat.history aus dem dauerhaften Sitzungstranskript neu aufgebaut wird. Nach Tool-Abschlussereignissen lädt die Control UI den Verlauf neu und führt nur ein kleines optimistisches Ende zusammen; die Transkriptgrenze ist in WebChat dokumentiert.
• chat.inject hängt eine Assistant-Notiz an das Sitzungstranskript an und sendet ein chat-Ereignis für reine UI-Aktualisierungen (kein Agentenlauf, keine Kanalzustellung).
• Der Chat-Header zeigt den Agentenfilter vor der Sitzungsauswahl, und die Sitzungsauswahl ist auf den ausgewählten Agenten beschränkt. Beim Wechseln von Agenten werden nur Sitzungen angezeigt, die diesem Agenten zugeordnet sind; falls noch keine gespeicherten Dashboard-Sitzungen vorhanden sind, wird auf die Hauptsitzung dieses Agenten zurückgegriffen.
• Auf Desktop-Breiten bleiben Chat-Steuerelemente in einer kompakten Zeile und werden beim Herunterscrollen im Transkript eingeklappt; nach oben scrollen, zur Oberkante zurückkehren oder das Ende erreichen stellt die Steuerelemente wieder her.
• Aufeinanderfolgende doppelte reine Textnachrichten werden als eine Sprechblase mit Zähler-Badge gerendert. Nachrichten mit Bildern, Anhängen, Tool-Ausgaben oder Canvas-Vorschauen bleiben nicht eingeklappt.
• Die Modell- und Thinking-Auswahlfelder im Chat-Header patchen die aktive Sitzung sofort über sessions.patch; sie sind persistente Sitzungsüberschreibungen, keine Sendeoptionen nur für einen einzelnen Turn.
• Die Eingabe von /new in der Control UI erstellt dieselbe neue Dashboard-Sitzung wie Neuer Chat und wechselt dorthin. Die Eingabe von /reset behält den expliziten In-Place-Reset des Gateways für die aktuelle Sitzung bei.
• Die Chat-Modellauswahl fordert die konfigurierte Modellansicht des Gateways an. Wenn agents.defaults.models vorhanden ist, steuert diese Allowlist die Auswahl. Andernfalls zeigt die Auswahl explizite models.providers.*.models-Einträge plus Provider mit nutzbarer Authentifizierung. Der vollständige Katalog bleibt über den Debug-models.list-RPC mit view: "all" verfügbar.
• Wenn aktuelle Gateway-Sitzungsnutzungsberichte hohen Kontextdruck anzeigen, zeigt der Chat-Composer-Bereich einen Kontexthinweis und bei empfohlenen Compaction-Stufen eine kompakte Schaltfläche, die den normalen Sitzung-Compaction-Pfad ausführt. Veraltete Token-Snapshots werden ausgeblendet, bis der Gateway wieder aktuelle Nutzung meldet.

Der Sprechmodus verwendet einen registrierten Echtzeit-Sprach-Provider. Konfigurieren Sie OpenAI mit talk.realtime.provider: "openai" plus talk.realtime.providers.openai.apiKey, oder konfigurieren Sie Google mit talk.realtime.provider: "google" plus talk.realtime.providers.google.apiKey. Der Browser erhält niemals einen normalen Provider-API-Schlüssel. OpenAI erhält ein kurzlebiges Realtime-Client-Secret für WebRTC. Google Live erhält ein einmalig verwendbares eingeschränktes Live-API-Auth-Token für eine Browser-WebSocket-Sitzung, wobei Anweisungen und Tool-Deklarationen vom Gateway im Token gesperrt werden. Provider, die nur eine Backend-Echtzeit-Bridge bereitstellen, laufen über den Gateway-Relay-Transport, sodass Zugangsdaten und Anbieter-Sockets serverseitig bleiben, während Browser-Audio über authentifizierte Gateway-RPCs läuft. Der Realtime-Sitzungsprompt wird vom Gateway zusammengesetzt; talk.client.create akzeptiert keine vom Aufrufer bereitgestellten Anweisungsüberschreibungen.

Im Chat-Composer ist die Sprechsteuerung die Wellen-Schaltfläche neben der Mikrofon-Diktat-Schaltfläche. Wenn Sprechen startet, zeigt die Composer-Statuszeile Connecting Talk..., danach Talk live, während Audio verbunden ist, oder Asking OpenClaw..., während ein Echtzeit-Tool-Aufruf über talk.client.toolCall das konfigurierte größere Modell konsultiert.

Maintainer-Live-Smoke: OPENAI_API_KEY=... GEMINI_API_KEY=... node --import tsx scripts/dev/realtime-talk-live-smoke.ts verifiziert den OpenAI-Browser-WebRTC-SDP-Austausch, die Einrichtung eines Google-Live-Browser-WebSocket mit eingeschränktem Token und den Gateway-Relay-Browseradapter mit gefälschten Mikrofonmedien. Der Befehl gibt nur den Provider-Status aus und protokolliert keine Secrets.

• Klicken Sie auf Stop (ruft chat.abort auf).
• Während ein Lauf aktiv ist, werden normale Folgeanfragen in die Warteschlange gestellt. Klicken Sie bei einer wartenden Nachricht auf Steer, um diese Folgeanfrage in den laufenden Turn einzuspeisen.
• Geben Sie /stop ein (oder eigenständige Abbruchphrasen wie stop, stop action, stop run, stop openclaw, please stop), um out-of-band abzubrechen.
• chat.abort unterstützt { sessionKey } (ohne runId), um alle aktiven Läufe für diese Sitzung abzubrechen.

• Wenn ein Lauf abgebrochen wird, kann partieller Assistant-Text weiterhin in der UI angezeigt werden.
• Der Gateway persistiert abgebrochenen partiellen Assistant-Text im Transkriptverlauf, wenn gepufferte Ausgabe vorhanden ist.
• Persistierte Einträge enthalten Abbruchmetadaten, damit Transkriptverbraucher Abbruch-Teilinhalte von normaler Abschlussausgabe unterscheiden können.

{
  gateway: {
    controlUi: { allowInsecureAuth: true },
    bind: "tailnet",
    auth: { mode: "token", token: "replace-me" },
  },
}

allowInsecureAuth ist nur ein lokaler Kompatibilitätsumschalter:

• Er erlaubt localhost-Sitzungen der Steuerungsoberfläche, in nicht sicheren HTTP-Kontexten ohne Geräteidentität fortzufahren.
• Er umgeht keine Pairing-Prüfungen.
• Er lockert keine Anforderungen an die Geräteidentität für entfernte Verbindungen (nicht localhost).

{
  gateway: {
    controlUi: { dangerouslyDisableDeviceAuth: true },
    bind: "tailnet",
    auth: { mode: "token", token: "replace-me" },
  },
}

• Erfolgreiche Trusted-Proxy-Authentifizierung kann Operator-Sitzungen der Steuerungsoberfläche ohne Geräteidentität zulassen.
• Dies gilt nicht für node-role-Sitzungen der Steuerungsoberfläche.
• Same-host-loopback-Reverse-Proxys erfüllen trusted-proxy-Authentifizierung weiterhin nicht; siehe Trusted-Proxy-Authentifizierung.

• gatewayUrl wird nach dem Laden in localStorage gespeichert und aus der URL entfernt.
• Wenn Sie einen vollständigen ws://- oder wss://-Endpunkt über gatewayUrl übergeben, URL-kodieren Sie den gatewayUrl-Wert, damit der Browser die Query-Zeichenfolge korrekt parst.
• token sollte nach Möglichkeit über das URL-Fragment (#token=...) übergeben werden. Fragmente werden nicht an den Server gesendet, wodurch Lecks in Anfrageprotokollen und Referern vermieden werden. Alte ?token=-Query-Parameter werden aus Kompatibilitätsgründen weiterhin einmal importiert, aber nur als Fallback, und unmittelbar nach dem Bootstrap entfernt.
• password wird nur im Speicher gehalten.
• Wenn gatewayUrl gesetzt ist, fällt die UI nicht auf Konfigurations- oder Umgebungs-Zugangsdaten zurück. Geben Sie token (oder password) explizit an. Fehlende explizite Zugangsdaten sind ein Fehler.
• Verwenden Sie wss://, wenn sich das Gateway hinter TLS befindet (Tailscale Serve, HTTPS-Proxy usw.).
• gatewayUrl wird nur in einem Top-Level-Fenster akzeptiert (nicht eingebettet), um Clickjacking zu verhindern.
• Nicht-loopback-Bereitstellungen der Steuerungsoberfläche müssen gateway.controlUi.allowedOrigins explizit setzen (vollständige Ursprünge). Dies schließt entfernte Entwicklungssetups ein.
• Der Gateway-Start kann lokale Ursprünge wie http://localhost:<port> und http://127.0.0.1:<port> aus dem effektiven Laufzeit-Bind und -Port setzen, aber entfernte Browser-Ursprünge benötigen weiterhin explizite Einträge.
• Verwenden Sie gateway.controlUi.allowedOrigins: ["*"] nur für streng kontrollierte lokale Tests. Es bedeutet, jeden Browser-Ursprung zuzulassen, nicht „den Host abzugleichen, den ich gerade verwende“.
• gateway.controlUi.dangerouslyAllowHostHeaderOriginFallback=true aktiviert den Fallback-Modus für Host-Header-Ursprünge, ist aber ein gefährlicher Sicherheitsmodus.