Interfejs sterowania

• Czatuj z modelem przez Gateway WS (chat.history, chat.send, chat.abort, chat.inject).
• Odświeżenia historii czatu żądają ograniczonego ostatniego okna z limitami tekstu dla wiadomości, aby duże sesje nie zmuszały przeglądarki do renderowania pełnego ładunku transkrypcji, zanim czat stanie się użyteczny.
• Rozmawiaj przez sesje czasu rzeczywistego w przeglądarce. OpenAI używa bezpośredniego WebRTC, Google Live używa ograniczonego jednorazowego tokenu przeglądarki przez WebSocket, a backendowe Pluginy głosu w czasie rzeczywistym używają transportu przekaźnikowego Gateway. Sesje dostawcy będące własnością klienta zaczynają się od talk.client.create; sesje przekaźnikowe Gateway zaczynają się od talk.session.create. Przekaźnik przechowuje dane uwierzytelniające dostawcy na Gateway, podczas gdy przeglądarka strumieniuje PCM z mikrofonu przez talk.session.appendAudio i przekazuje wywołania narzędzi dostawcy openclaw_agent_consult przez talk.client.toolCall dla zasad Gateway i większego skonfigurowanego modelu OpenClaw.
• Strumieniuj wywołania narzędzi i karty wyjścia narzędzi na żywo w czacie (zdarzenia agenta).

• Kanały: wbudowane oraz status kanałów Pluginów dołączonych/zewnętrznych, logowanie QR i konfiguracja dla kanału (channels.status, web.login.*, config.patch).
• Odświeżenia sond kanałów utrzymują poprzedni zrzut jako widoczny, gdy powolne kontrole dostawców się kończą, a częściowe zrzuty są oznaczane, gdy sonda lub audyt przekroczy budżet interfejsu użytkownika.
• Instancje: lista obecności + odświeżanie (system-presence).
• Sesje: domyślnie wyświetlaj sesje skonfigurowanych agentów, wracaj z przestarzałych kluczy sesji nieskonfigurowanych agentów i stosuj nadpisania modelu/myślenia/szybkiego trybu/szczegółowości/śledzenia/rozumowania dla sesji (sessions.list, sessions.patch).
• Dreams: status dreaming, przełącznik włączania/wyłączania i czytnik Dream Diary (doctor.memory.status, doctor.memory.dreamDiary, config.patch).

• Zadania Cron: wyświetlanie/dodawanie/edycja/uruchamianie/włączanie/wyłączanie + historia uruchomień (cron.*).
• Skills: status, włączanie/wyłączanie, instalacja, aktualizacje kluczy API (skills.*).
• Node: lista + limity możliwości (node.list).
• Zatwierdzenia exec: edytuj listy dozwolonych gateway lub Node + zasady pytań dla exec host=gateway/node (exec.approvals.*).

• Wyświetl/edytuj ~/.openclaw/openclaw.json (config.get, config.set).
• Zastosuj + uruchom ponownie z walidacją (config.apply) i wybudź ostatnią aktywną sesję.
• Zapisy obejmują zabezpieczenie hash bazowego, aby zapobiec nadpisaniu równoczesnych edycji.
• Zapisy (config.set/config.apply/config.patch) wykonują wstępną kontrolę rozwiązywania aktywnych SecretRef dla referencji w przesłanym ładunku konfiguracji; nierozwiązane aktywne przesłane referencje są odrzucane przed zapisem.
• Schemat + renderowanie formularza (config.schema / config.schema.lookup, w tym pola title / description, dopasowane wskazówki interfejsu użytkownika, natychmiastowe podsumowania dzieci, metadane dokumentacji w zagnieżdżonych węzłach obiektów/wieloznacznych/tablic/kompozycji oraz schematy Pluginów + kanałów, gdy są dostępne); edytor surowego JSON jest dostępny tylko wtedy, gdy zrzut ma bezpieczną surową rundę w obie strony.
• Jeśli zrzut nie może bezpiecznie przejść surowej rundy w obie strony, panel sterowania wymusza tryb formularza i wyłącza tryb surowy dla tego zrzutu.
• Edytor surowego JSON "Resetuj do zapisanych" zachowuje surowo utworzony kształt (formatowanie, komentarze, układ $include) zamiast ponownie renderować spłaszczony zrzut, więc zewnętrzne edycje przetrwają reset, gdy zrzut może bezpiecznie przejść rundę w obie strony.
• Strukturalne wartości obiektów SecretRef są renderowane tylko do odczytu w tekstowych polach formularza, aby zapobiec przypadkowemu uszkodzeniu przez konwersję obiektu na ciąg znaków.

• Debugowanie: zrzuty statusu/kondycji/modeli + dziennik zdarzeń + ręczne wywołania RPC (status, health, models.list).
• Dziennik zdarzeń obejmuje czasy odświeżania/RPC panelu sterowania, czasy powolnego renderowania czatu/konfiguracji oraz wpisy responsywności przeglądarki dla długich klatek animacji lub długich zadań, gdy przeglądarka udostępnia te typy wpisów PerformanceObserver.
• Logi: podgląd na żywo końca logów plikowych gateway z filtrem/eksportem (logs.tail).
• Aktualizacja: uruchom aktualizację pakietu/git + ponowne uruchomienie (update.run) z raportem ponownego uruchomienia, a następnie odpytywanie update.status po ponownym połączeniu w celu weryfikacji wersji działającego gateway.

• Dla zadań izolowanych dostarczanie domyślnie ogłasza podsumowanie. Możesz przełączyć na brak, jeśli chcesz uruchomienia wyłącznie wewnętrzne.
• Pola kanału/celu pojawiają się, gdy wybrane jest ogłaszanie.
• Tryb Webhook używa delivery.mode = "webhook" z delivery.to ustawionym na prawidłowy adres URL Webhook HTTP(S).
• Dla zadań głównej sesji dostępne są tryby dostarczania webhook i brak.
• Zaawansowane kontrolki edycji obejmują usuwanie po uruchomieniu, czyszczenie nadpisania agenta, opcje dokładnego/rozłożonego Cron, nadpisania modelu/myślenia agenta oraz przełączniki dostarczania best-effort.
• Walidacja formularza jest wbudowana z błędami na poziomie pól; nieprawidłowe wartości wyłączają przycisk zapisu, dopóki nie zostaną poprawione.
• Ustaw cron.webhookToken, aby wysyłać dedykowany token bearer; jeśli zostanie pominięty, webhook jest wysyłany bez nagłówka uwierzytelniania.
• Przestarzały fallback: przechowywane starsze zadania z notify: true nadal mogą używać cron.webhook do czasu migracji.

• chat.send jest nieblokujące: natychmiast potwierdza odbiór przez { runId, status: "started" }, a odpowiedź jest strumieniowana przez zdarzenia chat.
• Przesyłanie na czacie akceptuje obrazy oraz pliki inne niż wideo. Obrazy zachowują natywną ścieżkę obrazu; pozostałe pliki są przechowywane jako zarządzane multimedia i pokazywane w historii jako linki do załączników.
• Ponowne wysłanie z tym samym idempotencyKey zwraca { status: "in_flight" } podczas działania oraz { status: "ok" } po ukończeniu.
• Odpowiedzi chat.history mają ograniczony rozmiar ze względów bezpieczeństwa UI. Gdy wpisy transkrypcji są zbyt duże, Gateway może skracać długie pola tekstowe, pomijać ciężkie bloki metadanych i zastępować zbyt duże wiadomości symbolem zastępczym ([chat.history omitted: message too large]).
• Obrazy asystenta/wygenerowane są utrwalane jako zarządzane odwołania do multimediów i serwowane z powrotem przez uwierzytelnione adresy URL multimediów Gateway, więc ponowne wczytania nie zależą od tego, czy surowe ładunki obrazów base64 pozostają w odpowiedzi historii czatu.
• Podczas renderowania chat.history Control UI usuwa z widocznego tekstu asystenta znaczniki dyrektyw inline wyłącznie do wyświetlania (na przykład [[reply_to_*]] i [[audio_as_voice]]), zwykłotekstowe ładunki XML wywołań narzędzi (w tym <tool_call>...</tool_call>, <function_call>...</function_call>, <tool_calls>...</tool_calls>, <function_calls>...</function_calls> oraz skrócone bloki wywołań narzędzi), a także ujawnione tokeny sterujące modelu ASCII/pełnej szerokości, oraz pomija wpisy asystenta, których cały widoczny tekst jest wyłącznie dokładnym cichym tokenem NO_REPLY / no_reply albo tokenem potwierdzenia Heartbeat HEARTBEAT_OK.
• Podczas aktywnego wysyłania i końcowego odświeżenia historii widok czatu zachowuje widoczne lokalne optymistyczne wiadomości użytkownika/asystenta, jeśli chat.history krótko zwróci starszą migawkę; kanoniczna transkrypcja zastępuje te lokalne wiadomości, gdy historia Gateway nadrobi zaległość.
• Zdarzenia chat na żywo są stanem dostarczenia, natomiast chat.history jest odbudowywane z trwałej transkrypcji sesji. Po zdarzeniach końcowych narzędzi Control UI ponownie wczytuje historię i scala tylko niewielki optymistyczny ogon; granica transkrypcji jest udokumentowana w WebChat.
• chat.inject dołącza notatkę asystenta do transkrypcji sesji i rozgłasza zdarzenie chat na potrzeby aktualizacji wyłącznie UI (bez uruchomienia agenta, bez dostarczenia kanałem).
• Nagłówek czatu pokazuje filtr agenta przed selektorem sesji, a selektor sesji jest zawężony do wybranego agenta. Przełączanie agentów pokazuje tylko sesje powiązane z tym agentem i wraca do głównej sesji tego agenta, gdy nie ma on jeszcze zapisanych sesji panelu.
• Na szerokościach desktopowych kontrolki czatu pozostają w jednym kompaktowym wierszu i zwijają się podczas przewijania transkrypcji w dół; przewijanie w górę, powrót na górę lub dotarcie do dołu przywraca kontrolki.
• Kolejne zduplikowane wiadomości zawierające tylko tekst renderują się jako jeden dymek z odznaką liczby. Wiadomości zawierające obrazy, załączniki, wynik narzędzia lub podglądy canvas pozostają niezwinięte.
• Selektory modelu i myślenia w nagłówku czatu natychmiast aktualizują aktywną sesję przez sessions.patch; są to trwałe nadpisania sesji, a nie opcje wysyłania tylko na jedną turę.
• Wpisanie /new w Control UI tworzy i przełącza na tę samą świeżą sesję panelu co Nowy czat. Wpisanie /reset zachowuje jawny reset w miejscu Gateway dla bieżącej sesji.
• Selektor modelu czatu żąda skonfigurowanego widoku modeli Gateway. Jeśli obecne jest agents.defaults.models, ta lista dozwolonych wartości steruje selektorem. W przeciwnym razie selektor pokazuje jawne wpisy models.providers.*.models oraz dostawców z użytecznym uwierzytelnieniem. Pełny katalog pozostaje dostępny przez debugowe RPC models.list z view: "all".
• Gdy świeże raporty użycia sesji Gateway zawierają bieżące tokeny kontekstu, obszar kompozytora czatu pokazuje kompaktowy wskaźnik użycia kontekstu. Przełącza się na styl ostrzegawczy przy wysokiej presji kontekstu i, przy zalecanych poziomach Compaction, pokazuje kompaktowy przycisk uruchamiający normalną ścieżkę Compaction sesji. Nieaktualne migawki tokenów są ukrywane, dopóki Gateway ponownie nie zgłosi świeżego użycia.

Tryb rozmowy używa zarejestrowanego dostawcy głosu w czasie rzeczywistym. Skonfiguruj OpenAI za pomocą talk.realtime.provider: "openai" oraz talk.realtime.providers.openai.apiKey albo skonfiguruj Google za pomocą talk.realtime.provider: "google" oraz talk.realtime.providers.google.apiKey. Przeglądarka nigdy nie otrzymuje standardowego klucza API dostawcy. OpenAI otrzymuje efemeryczny sekret klienta Realtime dla WebRTC. Google Live otrzymuje jednorazowy ograniczony token uwierzytelniania Live API dla sesji WebSocket w przeglądarce, z instrukcjami i deklaracjami narzędzi zablokowanymi w tokenie przez Gateway. Dostawcy, którzy udostępniają tylko most czasu rzeczywistego zaplecza, działają przez transport przekaźnika Gateway, dzięki czemu dane uwierzytelniające i gniazda dostawcy pozostają po stronie serwera, a dźwięk przeglądarki przechodzi przez uwierzytelnione RPC Gateway. Prompt sesji Realtime jest składany przez Gateway; talk.client.create nie akceptuje nadpisań instrukcji dostarczonych przez wywołującego.

W kompozytorze czatu kontrolka rozmowy to przycisk z falami obok przycisku dyktowania mikrofonem. Po uruchomieniu rozmowy wiersz stanu kompozytora pokazuje Connecting Talk..., następnie Talk live, gdy dźwięk jest połączony, albo Asking OpenClaw..., gdy wywołanie narzędzia czasu rzeczywistego konsultuje skonfigurowany większy model przez talk.client.toolCall.

Test live smoke dla opiekunów: OPENAI_API_KEY=... GEMINI_API_KEY=... node --import tsx scripts/dev/realtime-talk-live-smoke.ts weryfikuje wymianę SDP OpenAI WebRTC w przeglądarce, konfigurację WebSocket przeglądarki Google Live z ograniczonym tokenem oraz adapter przeglądarki przekaźnika Gateway z fałszywym nośnikiem mikrofonu. Polecenie wypisuje tylko status dostawcy i nie rejestruje sekretów.

• Kliknij Stop (wywołuje chat.abort).
• Gdy uruchomienie jest aktywne, zwykłe dalsze wiadomości trafiają do kolejki. Kliknij Steer przy wiadomości w kolejce, aby wstrzyknąć tę dalszą wiadomość do trwającej tury.
• Wpisz /stop (albo samodzielne frazy przerwania, takie jak stop, stop action, stop run, stop openclaw, please stop), aby przerwać poza pasmem.
• chat.abort obsługuje { sessionKey } (bez runId), aby przerwać wszystkie aktywne uruchomienia dla tej sesji.

• Gdy uruchomienie zostanie przerwane, częściowy tekst asystenta nadal może być pokazany w UI.
• Gateway utrwala przerwany częściowy tekst asystenta w historii transkrypcji, gdy istnieje zbuforowany wynik.
• Utrwalone wpisy zawierają metadane przerwania, aby konsumenci transkrypcji mogli odróżnić części po przerwaniu od normalnego wyniku ukończenia.

{
  gateway: {
    controlUi: { allowInsecureAuth: true },
    bind: "tailnet",
    auth: { mode: "token", token: "replace-me" },
  },
}

allowInsecureAuth to wyłącznie lokalny przełącznik zgodności:

• Pozwala sesjom interfejsu sterowania na localhost kontynuować bez tożsamości urządzenia w niezabezpieczonych kontekstach HTTP.
• Nie omija kontroli parowania.
• Nie rozluźnia wymagań dotyczących tożsamości urządzenia zdalnego (innego niż localhost).

{
  gateway: {
    controlUi: { dangerouslyDisableDeviceAuth: true },
    bind: "tailnet",
    auth: { mode: "token", token: "replace-me" },
  },
}

• Pomyślne uwierzytelnienie trusted-proxy może dopuścić sesje interfejsu sterowania operatora bez tożsamości urządzenia.
• Nie obejmuje to sesji interfejsu sterowania z rolą węzła.
• Zwrotne serwery proxy na tym samym hoście nadal nie spełniają uwierzytelniania trusted-proxy; zobacz Uwierzytelnianie przez zaufany serwer proxy.

• gatewayUrl jest zapisywany w localStorage po załadowaniu i usuwany z adresu URL.
• Jeśli przekazujesz pełny punkt końcowy ws:// lub wss:// przez gatewayUrl, zakoduj wartość gatewayUrl jako URL, aby przeglądarka poprawnie przeanalizowała ciąg zapytania.
• token należy przekazywać przez fragment adresu URL (#token=...), gdy tylko to możliwe. Fragmenty nie są wysyłane na serwer, co pozwala uniknąć wycieków w dziennikach żądań i nagłówku Referer. Starsze parametry zapytania ?token= nadal są importowane raz dla zgodności, ale tylko jako rozwiązanie awaryjne i są usuwane natychmiast po inicjalizacji.
• password jest przechowywane tylko w pamięci.
• Gdy gatewayUrl jest ustawiony, UI nie wraca do danych uwierzytelniających z konfiguracji ani środowiska. Podaj token (lub password) jawnie. Brak jawnych danych uwierzytelniających jest błędem.
• Użyj wss://, gdy Gateway znajduje się za TLS (Tailscale Serve, proxy HTTPS itd.).
• gatewayUrl jest akceptowany tylko w oknie najwyższego poziomu (nie osadzonym), aby zapobiec clickjackingowi.
• Wdrożenia interfejsu sterowania inne niż local loopback muszą jawnie ustawić gateway.controlUi.allowedOrigins (pełne źródła). Dotyczy to także zdalnych konfiguracji deweloperskich.
• Uruchomienie Gateway może zasiać lokalne źródła, takie jak http://localhost:<port> i http://127.0.0.1:<port>, na podstawie efektywnego bindowania i portu w czasie działania, ale zdalne źródła przeglądarki nadal wymagają jawnych wpisów.
• Nie używaj gateway.controlUi.allowedOrigins: ["*"] poza ściśle kontrolowanymi testami lokalnymi. Oznacza to zezwolenie na dowolne źródło przeglądarki, a nie „dopasuj dowolnego hosta, którego używam”.
• gateway.controlUi.dangerouslyAllowHostHeaderOriginFallback=true włącza tryb awaryjny źródła oparty na nagłówku Host, ale jest to niebezpieczny tryb bezpieczeństwa.