Plugins

Utilisation de l’ordinateur par Codex

Computer Use est un Plugin MCP natif de Codex pour le contrôle du bureau local. OpenClaw n’intègre pas l’application de bureau, n’exécute pas lui-même les actions de bureau et ne contourne pas les autorisations de Codex. Le Plugin codex inclus prépare uniquement Codex app-server : il active la prise en charge des Plugins Codex, trouve ou installe le Plugin Codex Computer Use configuré, vérifie que le serveur MCP computer-use est disponible, puis laisse Codex gérer les appels d’outils MCP natifs pendant les tours en mode Codex.

Utilisez cette page lorsque OpenClaw utilise déjà le harnais Codex natif. Pour la configuration du runtime lui-même, consultez harnais Codex.

OpenClaw.app et Peekaboo

L’intégration Peekaboo d’OpenClaw.app est distincte de Codex Computer Use. L’application macOS peut héberger un socket PeekabooBridge afin que la CLI peekaboo puisse réutiliser les autorisations locales d’Accessibilité et d’Enregistrement de l’écran de l’application pour les propres outils d’automatisation de Peekaboo. Ce pont n’installe pas et ne relaie pas Codex Computer Use, et Codex Computer Use ne passe pas par le socket PeekabooBridge.

Utilisez pont Peekaboo lorsque vous voulez qu’OpenClaw.app soit un hôte tenant compte des autorisations pour l’automatisation CLI Peekaboo. Utilisez cette page lorsqu’un agent OpenClaw en mode Codex doit disposer du Plugin MCP computer-use natif de Codex avant le début du tour.

Application iOS

L’application iOS est distincte de Codex Computer Use. Elle n’installe pas et ne relaie pas le serveur MCP computer-use de Codex, et ce n’est pas un backend de contrôle de bureau. À la place, l’application iOS se connecte comme nœud OpenClaw et expose des capacités mobiles via des commandes de nœud telles que canvas.*, camera.*, screen.*, location.* et talk.*.

Utilisez iOS lorsque vous voulez qu’un agent pilote un nœud iPhone via le Gateway. Utilisez cette page lorsqu’un agent en mode Codex doit contrôler le bureau macOS local via le Plugin Computer Use natif de Codex.

MCP cua-driver direct

Codex Computer Use n’est pas la seule façon d’exposer le contrôle du bureau. Si vous voulez que des runtimes gérés par OpenClaw appellent directement le pilote de TryCua, utilisez le serveur cua-driver mcp en amont via le registre MCP d’OpenClaw plutôt que le flux de place de marché spécifique à Codex.

Après avoir installé cua-driver, demandez-lui la commande OpenClaw :

cua-driver mcp-config --client openclaw

ou enregistrez vous-même le serveur stdio :

openclaw mcp set cua-driver '{"command":"cua-driver","args":["mcp"]}'

Cette voie conserve intacte la surface d’outils MCP en amont, y compris les schémas du pilote et les réponses MCP structurées. Utilisez-la lorsque vous voulez que le pilote CUA soit disponible comme serveur MCP OpenClaw normal. Utilisez la configuration Codex Computer Use de cette page lorsque Codex app-server doit gérer l’installation des Plugins, les rechargements MCP et les appels d’outils natifs dans les tours en mode Codex.

Le pilote CUA est spécifique à macOS et exige toujours les autorisations macOS locales demandées par son application, comme l’Accessibilité et l’Enregistrement de l’écran. OpenClaw n’installe pas cua-driver, n’accorde pas ces autorisations et ne contourne pas le modèle de sécurité du pilote en amont.

Configuration rapide

Définissez plugins.entries.codex.config.computerUse lorsque les tours en mode Codex doivent disposer de Computer Use avant le démarrage d’un fil :

{
  plugins: {
    entries: {
      codex: {
        enabled: true,
        config: {
          computerUse: {
            autoInstall: true,
          },
        },
      },
    },
  },
  agents: {
    defaults: {
      model: "openai/gpt-5.5",
      agentRuntime: {
        id: "codex",
      },
    },
  },
}

Avec cette configuration, OpenClaw vérifie Codex app-server avant chaque tour en mode Codex. Si Computer Use est absent mais que Codex app-server a déjà découvert une place de marché installable, OpenClaw demande à Codex app-server d’installer ou de réactiver le Plugin et de recharger les serveurs MCP. Sur macOS, lorsqu’aucune place de marché correspondante n’est enregistrée et que le bundle standard de l’application Codex existe, OpenClaw tente aussi d’enregistrer la place de marché Codex incluse depuis /Applications/Codex.app/Contents/Resources/plugins/openai-bundled avant d’échouer. Si la configuration ne parvient toujours pas à rendre le serveur MCP disponible, le tour échoue avant le démarrage du fil.

Les sessions existantes conservent leur runtime et leur liaison de fil Codex. Après avoir modifié agentRuntime ou la configuration Computer Use, utilisez /new ou /reset dans le chat concerné avant de tester.

Commandes

Utilisez les commandes /codex computer-use depuis toute surface de chat où la surface de commandes du Plugin codex est disponible. Ce sont des commandes de chat/runtime OpenClaw, pas des sous-commandes CLI openclaw codex ... :

/codex computer-use status
/codex computer-use install
/codex computer-use install --source <marketplace-source>
/codex computer-use install --marketplace-path <path>
/codex computer-use install --marketplace <name>

status est en lecture seule. Il n’ajoute pas de sources de place de marché, n’installe pas de Plugins et n’active pas la prise en charge des Plugins Codex.

install active la prise en charge des Plugins de Codex app-server, ajoute éventuellement une source de place de marché configurée, installe ou réactive le Plugin configuré via Codex app-server, recharge les serveurs MCP et vérifie que le serveur MCP expose des outils.

Choix de place de marché

OpenClaw utilise la même API app-server que celle exposée par Codex lui-même. Les champs de place de marché choisissent où Codex doit trouver computer-use.

Champ À utiliser lorsque Prise en charge de l’installation
Aucun champ de place de marché Vous voulez que Codex app-server utilise les places de marché qu’il connaît déjà. Oui, lorsque app-server renvoie une place de marché locale.
marketplaceSource Vous avez une source de place de marché Codex que app-server peut ajouter. Oui, pour /codex computer-use install explicite.
marketplacePath Vous connaissez déjà le chemin de fichier local de la place de marché sur l’hôte. Oui, pour l’installation explicite et l’installation automatique au démarrage du tour.
marketplaceName Vous voulez sélectionner une place de marché déjà enregistrée par nom. Oui uniquement lorsque la place de marché sélectionnée a un chemin local.

Les répertoires personnels Codex fraîchement créés peuvent avoir besoin d’un court instant pour initialiser leurs places de marché officielles. Pendant l’installation, OpenClaw interroge plugin/list pendant au plus marketplaceDiscoveryTimeoutMs millisecondes. La valeur par défaut est de 60 secondes.

Si plusieurs places de marché connues contiennent Computer Use, OpenClaw préfère openai-bundled, puis openai-curated, puis local. Les correspondances ambiguës inconnues échouent fermement et vous demandent de définir marketplaceName ou marketplacePath.

Place de marché macOS incluse

Les versions récentes de Codex desktop incluent Computer Use ici :

/Applications/Codex.app/Contents/Resources/plugins/openai-bundled/plugins/computer-use

Lorsque computerUse.autoInstall vaut true et qu’aucune place de marché contenant computer-use n’est enregistrée, OpenClaw tente d’ajouter automatiquement la racine standard de la place de marché incluse :

/Applications/Codex.app/Contents/Resources/plugins/openai-bundled

Vous pouvez aussi l’enregistrer explicitement depuis un shell avec Codex :

codex plugin marketplace add /Applications/Codex.app/Contents/Resources/plugins/openai-bundled

Si vous utilisez un chemin d’application Codex non standard, définissez computerUse.marketplacePath sur un chemin de fichier de place de marché local ou exécutez /codex computer-use install --source <marketplace-source> une fois.

Limite du catalogue distant

Codex app-server peut lister et lire des entrées de catalogue uniquement distantes, mais il ne prend pas actuellement en charge plugin/install distant. Cela signifie que marketplaceName peut sélectionner une place de marché uniquement distante pour les vérifications d’état, mais les installations et réactivations nécessitent toujours une place de marché locale via marketplaceSource ou marketplacePath.

Si l’état indique que le Plugin est disponible dans une place de marché Codex distante mais que l’installation distante n’est pas prise en charge, exécutez l’installation avec une source ou un chemin local :

/codex computer-use install --source <marketplace-source>
/codex computer-use install --marketplace-path <path>

Référence de configuration

Champ Valeur par défaut Signification
enabled inférée Exiger Computer Use. Vaut true par défaut lorsqu’un autre champ Computer Use est défini.
autoInstall false Installer ou réactiver depuis les places de marché déjà découvertes au démarrage du tour.
marketplaceDiscoveryTimeoutMs 60000 Durée pendant laquelle l’installation attend la découverte des places de marché par Codex app-server.
marketplaceSource non défini Chaîne source transmise à marketplace/add de Codex app-server.
marketplacePath non défini Chemin de fichier local de place de marché Codex contenant le Plugin.
marketplaceName non défini Nom de place de marché Codex enregistrée à sélectionner.
pluginName computer-use Nom du Plugin de place de marché Codex.
mcpServerName computer-use Nom du serveur MCP exposé par le Plugin installé.

L’installation automatique au démarrage du tour refuse intentionnellement les valeurs marketplaceSource configurées. Ajouter une nouvelle source est une opération de configuration explicite ; utilisez donc /codex computer-use install --source <marketplace-source> une fois, puis laissez autoInstall gérer les futures réactivations depuis les places de marché locales découvertes. L’installation automatique au démarrage du tour peut utiliser un marketplacePath configuré, car il s’agit déjà d’un chemin local sur l’hôte.

Ce qu’OpenClaw vérifie

OpenClaw rapporte en interne une raison de configuration stable et met en forme l’état visible par l’utilisateur pour le chat :

Raison Signification Étape suivante
disabled computerUse.enabled se résout à false. Définir enabled ou un autre champ Computer Use.
marketplace_missing Aucune place de marché correspondante n’était disponible. Configurer une source, un chemin ou un nom de place de marché.
plugin_not_installed La place de marché existe, mais le Plugin n’est pas installé. Exécuter l’installation ou activer autoInstall.
plugin_disabled Le Plugin est installé mais désactivé dans la configuration Codex. Exécuter l’installation pour le réactiver.
remote_install_unsupported La place de marché sélectionnée est uniquement distante. Utiliser marketplaceSource ou marketplacePath.
mcp_missing Le Plugin est activé, mais le serveur MCP est indisponible. Vérifier Codex Computer Use et les autorisations du système d’exploitation.
ready Le Plugin et les outils MCP sont disponibles. Démarrer le tour en mode Codex.
check_failed Une requête Codex app-server a échoué pendant la vérification d’état. Vérifier la connectivité et les journaux d’app-server.
auto_install_blocked La configuration au démarrage du tour devrait ajouter une nouvelle source. Exécuter d’abord l’installation explicite.

La sortie de chat inclut l’état du Plugin, l’état du serveur MCP, la place de marché, les outils lorsqu’ils sont disponibles, ainsi que le message spécifique de l’étape de configuration en échec.

Autorisations macOS

Computer Use est spécifique à macOS. Le serveur MCP géré par Codex peut nécessiter des autorisations locales du système d’exploitation avant de pouvoir inspecter ou contrôler des applications. Si OpenClaw indique que Computer Use est installé mais que le serveur MCP est indisponible, vérifiez d’abord la configuration Computer Use côté Codex :

  • Codex app-server s’exécute sur le même hôte que celui où le contrôle du bureau doit avoir lieu.
  • Le Plugin Computer Use est activé dans la configuration Codex.
  • Le serveur MCP computer-use apparaît dans l’état MCP de Codex app-server.
  • macOS a accordé les autorisations requises pour l’application de contrôle du bureau.
  • La session hôte actuelle peut accéder au bureau contrôlé.

OpenClaw échoue volontairement de façon fermée lorsque computerUse.enabled est défini sur true. Un tour en mode Codex ne doit pas continuer silencieusement sans les outils natifs de bureau exigés par la configuration.

Dépannage

L’état indique non installé. Exécutez /codex computer-use install. Si la marketplace n’est pas découverte, passez --source ou --marketplace-path.

L’état indique installé mais désactivé. Exécutez de nouveau /codex computer-use install. L’installation de Codex app-server réécrit la configuration du Plugin en l’activant.

L’état indique que l’installation distante n’est pas prise en charge. Utilisez une source de marketplace locale ou un chemin local. Les entrées de catalogue uniquement distantes peuvent être inspectées, mais pas installées via l’API app-server actuelle.

L’état indique que le serveur MCP est indisponible. Relancez l’installation une fois afin que les serveurs MCP se rechargent. S’il reste indisponible, corrigez l’application Codex Computer Use, l’état MCP de Codex app-server ou les autorisations macOS.

L’état ou une sonde expire sur computer-use.list_apps. Le Plugin et le serveur MCP sont présents, mais le pont local Computer Use n’a pas répondu. Quittez ou redémarrez Codex Computer Use, relancez Codex Desktop si nécessaire, puis réessayez dans une nouvelle session OpenClaw.

Un outil Computer Use indique Native hook relay unavailable. Le hook d’outil natif Codex n’a pas pu atteindre un relais OpenClaw actif via le pont local ou le repli Gateway. Démarrez une nouvelle session OpenClaw avec /new ou /reset. Si cela continue, redémarrez le Gateway afin que les anciens threads app-server et les enregistrements de hook soient supprimés, puis réessayez.

L’installation automatique au début du tour refuse une source. C’est intentionnel. Ajoutez d’abord la source avec /codex computer-use install --source <marketplace-source> explicite, puis les futures installations automatiques au début du tour pourront utiliser la marketplace locale découverte.

Connexe