Note de l’auteur : cet article présente l’installation, l’autorisation, la boucle snapshot/click et l’intégration MCP d’agent-desktop, puis explique comment configurer le modèle et la Base URL du « cerveau » dans la boucle.
Faire piloter par un agent de programmation, ou un agent maison, Finder, les réglages système ou un client natif reposait jusqu’ici presque uniquement sur des captures d’écran, un modèle de vision et des coordonnées en pixels : la chaîne était longue et les clics erronés fréquents. Le projet agent-desktop, open source chez Vercel Labs, a pris un autre chemin : il lit l’arbre d’accessibilité du système d’exploitation (Accessibility Tree), transforme l’interface du bureau en JSON muni de ref, et l’agent exécute les clics et les saisies à partir de ces ref. C’est ce qu’il appelle le « computer use sans capture d’écran ».
Ce n’est pas encore un robot de bureau doté d’une IA. Avant de commencer, clarifions trois points :
- agent-desktop n’intègre pas de modèle : le binaire ne contient aucun LLM, aucune interface graphique et aucune invite interactive. Chaque commande affiche une enveloppe JSON puis se termine.
- La boucle est côté appelant : la boucle observer-agir-vérifier (observe-act-verify) est gérée par l’agent qui l’appelle, par exemple Claude Code, OpenCode ou votre propre script.
- Pas de web : l’automatisation web est confiée au projet frère agent-browser ; agent-desktop ne s’occupe que des applications de bureau natives.
Comme l’outil n’embarque pas de modèle, le « cerveau » doit être fourni par l’agent appelant ; cette étape demande une clé API et un jeton. Vous pouvez pointer la Base URL de l’agent appelant vers APIYI apiyi.com et appeler avec une seule clé des modèles comme claude-opus-5-5, claude-sonnet-5-5.
L’essentiel : à la fin de cet article, vous saurez installer agent-desktop, l’autoriser, faire tourner la boucle minimale snapshot → click → nouveau snapshot, puis le brancher à votre agent via MCP et configurer la Base URL et le modèle côté LLM.
Points clés d’agent-desktop
Un tableau suffit pour situer agent-desktop. Les informations ci-dessous proviennent du README officiel, de la FAQ et du site de documentation ; date d’observation : 2026-11-13.
| Point | Description | Intérêt pour les développeurs |
|---|---|---|
| Source des données | Lit l’arbre d’accessibilité du système d’exploitation : AX API sur macOS, UI Automation sur Windows, AT-SPI sous Linux | Aucune dépendance aux captures d’écran ni au matching de pixels, haut niveau de structuration |
| Format de sortie | Chaque commande émet une enveloppe JSON puis se termine ; les éléments portent une ref |
Facile à parser pour un LLM, et pratique pour écrire des assertions dans des scripts |
| Mode par défaut | headless, via les API d’accessibilité, sans déplacer le pointeur ni voler le focus | On peut agir en arrière-plan sans interrompre l’utilisateur |
| Contient-il un modèle ? | Non, la boucle est à la charge de l’appelant | Modèle choisi librement, coût et performances maîtrisés par l’appelant |
| Modes d’intégration | CLI, MCP (stdio), skills, bibliothèque C via FFI | S’intègre à Claude Code, OpenCode ou à un Agent maison |
Au 2026-11-13, le dépôt GitHub vercel-labs/agent-desktop compte environ 22 900 étoiles, est publié sous licence Apache-2.0, et le paquet npm s’appelle tout simplement agent-desktop ; des commits continuaient d’arriver ce jour-là. On dénombre au total environ 61 noms de commandes, dont 57 exécutables, réparties en groupes : Observe, Act on ref, Keyboard mouse, Apps windows, Notifications, Clipboard, Wait, Sessions, Sandboxes, System, etc.
Comment fonctionne agent-desktop : arbre d’accessibilité et ref
Le concept central d’agent-desktop, ce sont les snapshots et les refs. Quand on exécute snapshot, l’outil parcourt l’arbre d’accessibilité de l’application cible et exporte en JSON les éléments tels que les boutons, les champs de texte ou les entrées de menu, en attribuant une ref à chacun. Une ref complète ressemble à @s8f3k2p9:e8 : la première partie identifie le snapshot en cours, la seconde correspond au numéro de l’élément.
Une ref n’appartient qu’au snapshot qui l’a produite. Si l’on passe seulement @e8 brut, on reçoit INVALID_ARGS. Après une modification de l’interface, une ancienne ref peut devenir invalide et renvoyer STALE_REF ou AMBIGUOUS_TARGET ; il faut alors refaire un snapshot. Cette conception oblige l’appelant à réobserver après chaque action, autrement dit à passer par l’étape de « vérification » dans observe-act-verify.
Dans le schéma ci-dessus, l’étape « l’Agent choisit une ref » correspond à la décision du modèle. agent-desktop se charge de transmettre l’interface de manière structurée ; lire le JSON et décider quel élément cliquer relève du travail du modèle appelant.
Répartition des rôles entre agent-desktop et agent-browser
Les deux projets appartiennent à Vercel Labs et leurs sites de documentation sont regroupés, mais leurs périmètres de responsabilité sont clairement délimités :
| Élément de comparaison | agent-desktop | agent-browser |
|---|---|---|
| Objectif | Applications de bureau natives (Finder, Réglages Système, clients natifs) | Pages web et pages de navigateur |
| Méthode d’observation | Arbre d’accessibilité de l’OS | Structure de page côté navigateur |
| Applications Chromium / Electron | Peuvent être confiées à agent-browser via le port DevTools | Adapté à la prise en charge du contenu web de ces applications |
| Contient un modèle ? | Non | Également utilisé comme outil par l’Agent |
| Commandes typiques | snapshot, click, clipboard-set |
Navigation et interactions orientées page |
Une répartition pratique consiste à confier les fenêtres natives, la barre de menus, le Dock et les notifications à agent-desktop ; dès qu’il s’agit de contenu web dans une page ou une application Electron, on bascule vers agent-browser via le port DevTools.
Versions d’agent-desktop et sources factuelles
agent-desktop évolue rapidement : plusieurs versions clés ont introduit des changements de comportement, dont certains sont incompatibles. Le tableau ci-dessous indique la source de chaque fait ; « inconnu » signifie que la documentation officielle ne le précise pas encore.
| Version / date | Principaux changements | Source |
|---|---|---|
| 1.0.0 (2026-10-27) | La prise en charge de Linux est officiellement intégrée à la version 1.0 | Changelog officiel |
| 1.1.0 (2026-11-02) | L’envelope passe à la version 2.6 ; prise en charge du Dock macOS et des menu-bar-extras ; changements incompatibles liés à l’identité | Changelog officiel |
| 1.2.0 (2026-11-05) | Ajout de MCP (agent-desktop mcp) ; type / set-value / clipboard-set prennent en charge --stdin |
Changelog officiel |
| 1.3.0 (2026-11-11) | Ajout de agent-desktop sandbox et d’un fournisseur de sandbox macOS ; le snapshot menu/menubar ne contient plus data.window (changement incompatible) |
Changelog officiel |
| Sandbox Windows / Linux | Un fournisseur correspondant sera-t-il fourni ? | Inconnu |
Prise en main rapide d’agent-desktop
Nous allons suivre dans l’ordre le parcours « installation → autorisation → boucle minimale → intégration MCP ».
Étape 1 : installer agent-desktop
Configuration requise : macOS 13+ ; Windows 10 1809+ (x64 / ARM64) ; Linux Ubuntu 24.04+ (x86_64 / aarch64), avec X11 ou Wayland, au choix. Choisissez l’une des méthodes d’installation suivantes :
- npm (nécessite Node 18+ ; le paquet inclut les binaires natifs pour chaque plateforme) :
npm install -g agent-desktop - Homebrew (macOS / Linux, disponible dans homebrew-core) :
brew install agent-desktop - Archives natives : à télécharger depuis GitHub Releases ; le helper doit être placé à côté de l’exécutable.
Une fois installé, lancez d’abord agent-desktop status pour vérifier que le binaire et l’environnement de la plateforme actuelle fonctionnent correctement.
Étape 2 : autorisation des permissions d’agent-desktop
Sur macOS, il faut accorder la permission « Accessibilité » au terminal ou au processus hôte, sans quoi l’arbre d’accessibilité reste illisible. L’outil officiel propose une commande de guidage :
agent-desktop permissions --guide: suivez les invites pour terminer l’autorisation d’accessibilité dans les Réglages Système- Une fois l’autorisation accordée, relancez
agent-desktop statuspour vérifier
À noter : le bénéficiaire de l’autorisation est « le processus qui exécute agent-desktop ». Si vous l’appelez indirectement via Claude Code, un IDE ou un client MCP, il peut être nécessaire d’autoriser l’application hôte correspondante.
Étape 3 : faire tourner la boucle minimale snapshot → click → snapshot
Prenons Finder comme exemple : trois commandes suffisent à boucler une observation-action-vérification complète :
agent-desktop snapshot --app Finder -i: récupère l’arbre d’accessibilité de Finder ;-isert à cibler les éléments interactifs, et la sortie JSON contient des refs du type@s8f3k2p9:e8agent-desktop click @s8f3k2p9:e8: clique sur l’élément cible du snapshot précédent ; la ref doit être écrite en entieragent-desktop snapshot --app Finder -i: observez à nouveau pour vérifier que l’interface a bien changé comme prévu
Si l’étape 2 renvoie STALE_REF ou AMBIGUOUS_TARGET, c’est que l’interface a changé : revenez à l’étape 1 et refaites un snapshot. Pour les applications qui réclament de vrais événements de pointeur ou de clavier, ajoutez le paramètre global --headed pour passer en mode de saisie physique.
Pour les interfaces comportant beaucoup d’éléments, un snapshot complet d’un seul coup est long et gaspille des tokens du modèle. On peut procéder en deux couches :
agent-desktop snapshot --skeleton --app Finder: récupérez d’abord le squelette pour voir les grandes zonesagent-desktop snapshot --app Finder --root @<ref du squelette>: puis descendez dans un sous-arbre donné
Cette astuce raccourcit nettement le contexte envoyé au modèle. Pour l’appelant, plus le contexte est court, plus le coût facturé au token est faible.
Étape 4 : connecter l’Agent via MCP et les skills
Depuis la version 1.2.0, agent-desktop intègre un service MCP, qui passe par stdio et expose des outils comme desktop_snapshot, desktop_click, etc. Le format de configuration varie légèrement selon le client ; voici un exemple indicatif :
- Commande de démarrage :
agent-desktop mcp - Exemple de configuration JSON générique :
{"mcpServers": {"agent-desktop": {"command": "agent-desktop", "args": ["mcp"]}}} - Exemple pour Claude Code :
claude mcp add agent-desktop -- agent-desktop mcp
Si votre Agent prend en charge les skills, vous pouvez aussi charger directement la documentation officielle pour que le modèle sache comment appeler les outils :
agent-desktop skills get desktop,agent-desktop skills get platform: affichent la description des skillsnpx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop: installation via skills.sh
Si vous avez besoin d’appeler l’outil dans le même processus, vous pouvez également utiliser la bibliothèque C libagent_desktop_ffi.
Optionnel : le sandbox d’agent-desktop dans la version 1.3.0
La version 1.3.0 ajoute une sous-commande agent-desktop sandbox et un provider sandbox macOS, qui permet de lancer l’automatisation dans une machine virtuelle macOS signée localement, en isolant les actions de l’Agent de votre bureau réel. Ce n’est pas une étape obligatoire : le circuit minimal n’en dépend pas. Si vous craignez que l’Agent modifie vos vrais fichiers par erreur, ou si vous voulez enchaîner un grand nombre de tâches exploratoires, vous pouvez la privilégier.
🚀 Démarrage rapide : une fois MCP configuré, l’Agent appelant a encore besoin d’un modèle utilisable. La méthode recommandée par l’équipe officielle consiste à créer un jeton dans la console APIYI apiyi.com, puis à pointer l’URL de base de l’Agent vers ce service : une seule clé permet ainsi de basculer et de comparer entre Claude, GPT, Gemini et autres modèles.
Connecter le « cerveau » du modèle à la boucle agent-desktop
agent-desktop ne s’occupe que des « yeux et des mains » : c’est à l’appelant de décider quel ref cliquer et de juger si la tâche est terminée. C’est lui le « cerveau ». Deux configurations sont essentielles à ce niveau : le Base URL et le modèle.
Base URL : avec ou sans /v1, il faut savoir trancher
Les Agents appelants utilisent généralement deux types de protocoles, et la façon d’écrire le Base URL diffère. C’est la cause la plus fréquente des erreurs 404 :
- Protocole compatible OpenAI (la plupart des scripts maison, le provider compatible OpenAI d’OpenCode) :
https://api.apiyi.com/v1, avec/v1 - Protocole natif Anthropic (Claude Code et autres clients qui passent directement par l’interface messages) :
https://api.apiyi.com, sans/v1
Prenons Claude Code comme exemple ; on peut illustrer la configuration avec des variables d’environnement :
export ANTHROPIC_BASE_URL=https://api.apiyi.comexport ANTHROPIC_AUTH_TOKEN=votre_jeton
Pour un script Python ou Node maison qui utilise le SDK OpenAI, il suffit de définir base_url sur https://api.apiyi.com/v1 et de renseigner model avec claude-opus-5-5. Le jeton se crée sur api.apiyi.com/token ; pour la configuration détaillée, vous pouvez consulter docs.apiyi.com/faq/base-url-config.md.
Comment écrire la boucle d’un agent maison
Si vous ne voulez pas dépendre d’un agent clé en main, écrire votre propre boucle n’a rien de compliqué. Les étapes essentielles sont les suivantes :
- Exécutez
agent-desktop snapshot --app 目标应用 -iet lisez l’enveloppe JSON écrite sur stdout - Envoyez l’objectif de la tâche avec le JSON de snapshot au modèle, en lui demandant de renvoyer uniquement l’action suivante et la ref complète
- Exécutez la commande fournie par le modèle, par exemple
agent-desktop click @sxxxx:eN - Prenez un nouveau snapshot et transmettez le nouveau résultat au modèle pour qu’il détermine si la tâche est terminée ; si vous recevez
STALE_REF, réobservez directement - Fixez un nombre maximal d’étapes et des points de confirmation humaine pour éviter les boucles infinies ou les actions hors périmètre
Les étapes 2 et 4 consomment toutes deux des tokens. La méthode d’exploration progressive --skeleton + --root mentionnée plus haut influence directement le coût ici.
Choix : claude-opus-5-5 et claude-sonnet-5-5
Les deux modèles Claude sont désormais disponibles dans le tableau récapitulatif des modèles d’APIYI et prennent en charge les endpoints chat et messages. Les prix du tableau ci-dessous sont datés du 2026-11-13, en dollars US pour 1 M de tokens ; les modèles et les prix font foi sur la liste des modèles de la plateforme.
| Modèle | Entrée | Sortie | Lecture du cache | Scénarios agent-desktop adaptés | Plateforme disponible |
|---|---|---|---|---|---|
claude-opus-5-5 |
$4 | $20 | $0.2 | Tâches multi-étapes, interfaces complexes, planification poussée | APIYI apiyi.com |
claude-sonnet-5-5 |
$2 | $10 | $0.1 | Opérations quotidiennes bien balisées et répétitives | APIYI apiyi.com |
Une approche pragmatique consiste à faire tourner le processus de bout en bout avec claude-opus-5-5, puis, une fois les invites et les étapes stabilisées, à évaluer si les portions stables peuvent passer à claude-sonnet-5-5. Le JSON de snapshot contient beaucoup d’invites système et de descriptions d’outils qui se répètent ; le prix de lecture du cache étant nettement inférieur au prix d’entrée, activer la mise en cache des invites est plutôt avantageux pour les boucles longues. Pour les tarifs les plus récents, référez-vous à docs.apiyi.com/models.
Dépannage d’agent-desktop : problème de permissions ou problème de modèle
agent-desktop et le modèle sont deux chaînes indépendantes. En cas d’erreur, commencez par déterminer de quel côté vient le problème : vous éviterez pas mal de détours.
| Symptôme | Chaîne concernée | Cause possible | Traitement |
|---|---|---|---|
| snapshot vide ou application inaccessible | Côté outil | Autorisation d’accessibilité non accordée, ou l’application n’expose pas d’arbre d’accessibilité | Exécutez agent-desktop permissions --guide et vérifiez l’autorisation du processus hôte |
INVALID_ARGS |
Côté outil | Une ref brute a été utilisée seule, par exemple @e8 |
Utilisez une ref complète, par exemple @s8f3k2p9:e8 |
STALE_REF / AMBIGUOUS_TARGET |
Côté outil | L’interface a changé, la ref n’est plus valide | Refaites un snapshot |
| Requête modèle 401 | Côté modèle | Jeton erroné, expiré, ou variable d’environnement non prise en compte | Vérifiez le jeton sur api.apiyi.com/token et exportez-le à nouveau |
| Requête modèle 404 | Côté modèle | Le /v1 de la Base URL est mal écrit, ou le nom du modèle est mal orthographié |
Compatible OpenAI avec /v1, natif Anthropic sans ; tableau de correspondance des modèles |
Méthode simple : si la commande agent-desktop parvient à produire du JSON seule dans le terminal, alors le côté outil fonctionne, et les erreurs restantes viennent presque toutes du côté modèle. Pour les 401/404 côté modèle, vérifiez point par point les instructions de configuration de la Base URL dans le centre de documentation d’APIYI (apiyi.com).
Risques liés aux permissions et à la vie privée d’agent-desktop
Cette section aborde les risques propres à l’automatisation du bureau, indépendamment du compte utilisé, mais cela vaut vraiment la peine d’y jeter un œil sérieux avant de commencer.
Le poids de l’autorisation d’accessibilité. Sur macOS, activer l’accessibilité signifie que le processus autorisé peut lire et manipuler l’interface d’autres applications. Une fois l’autorisation accordée à un terminal ou à un hôte d’Agent, n’importe quel programme exécuté dans ce processus peut hériter des mêmes capacités. Le mieux est de n’autoriser que les hôtes strictement nécessaires, et de désactiver l’autorisation dans les réglages système une fois le travail terminé.
snapshot, presse-papiers et captures d’écran peuvent tous contenir des données sensibles. La documentation officielle le signale clairement : les snapshots, le contenu du presse-papiers, les captures d’écran, les notifications et le HTML de debug peuvent contenir des informations sensibles présentes sur le bureau, comme des conversations, des objets de mails, des noms de fichiers ou l’interface d’un gestionnaire de mots de passe. Ces données sont envoyées au modèle par l’appelant. Il ne faut donc pas publier de logs de debug, ni coller un snapshot complet directement dans une issue.
Le helper optionnel se connecte au réseau. Le CLI natif ne nécessite pas en lui-même un service de modèle distant, mais si vous activez le helper JEV optionnel, il envoie la cible et la description de l’écran au fournisseur de modèle que vous avez configuré. Que vous l’activiez ou non, et à qui les données partent, c’est à vous de le garder en tête.
Les conséquences des actions incombent à l’utilisateur. L’Agent peut cliquer sur le mauvais bouton, supprimer le mauvais fichier, ou envoyer un message qu’il ne fallait pas. Quelques pratiques réduisent les risques : faire un essai dans le sandbox de la 1.3.0, limiter la portée de --app, et ajouter une confirmation humaine pour les opérations à haut risque comme la suppression, l’envoi ou le paiement. Autre point : les applications dont l’arbre d’accessibilité n’est pas lisible restent invisibles pour agent-desktop — c’est une limite de capacité, il ne faut pas s’attendre à ce qu’il puisse piloter tous les logiciels.
Brancher un Agent tiers sur une passerelle, c’est un autre type de risque. Quand vous connectez un Agent tiers comme Claude Code ou OpenCode à une passerelle API quelle qu’elle soit, faites attention à la conservation des jetons, aux plafonds de quota, et à la présence éventuelle de données sensibles dans les logs. Cela s’évalue séparément des risques d’automatisation du bureau. Le conseil : créer un jeton dédié à l’Agent avec un quota défini, afin de pouvoir le révoquer isolément en cas de problème.
Questions fréquentes (FAQ)
Q1 : qu’est-ce que agent-desktop ?
agent-desktop est un CLI « computer use » open source développé par Vercel Labs. Grâce à l’arbre d’accessibilité du système d’exploitation, il permet à un Agent IA de voir et de manipuler les applications de bureau sous macOS, Windows et Linux, sans dépendre de captures d’écran ni de correspondance de pixels. C’est un outil, pas un Agent : il ne contient aucun modèle en lui-même.
Q2 : quelle différence entre agent-desktop et le computer use « à base de captures d’écran » ?
Les solutions à base de captures d’écran s’appuient sur un modèle de vision pour comprendre les pixels, puis en déduire des coordonnées : la chaîne est longue et sensible à la résolution. agent-desktop produit directement du JSON structuré et des refs ; le modèle agit ensuite via ces refs, et l’outil tourne en headless par défaut, sans accaparer le pointeur ni le focus. Le prix à payer : il ne voit que les applications qui exposent des informations d’accessibilité.
Q3 : quelle est la version actuelle d’agent-desktop ?
Au 13 novembre 2026, la dernière version visible est la 1.3.0 (11 novembre 2026), qui ajoute le sandbox. Le MCP est proposé depuis la 1.2.0 (5 novembre 2026), et Linux est officiellement entré en 1.0 avec la version 1.0.0 (27 octobre 2026). Les versions sortent vite : fiez-vous aux GitHub Releases.
Q4 : dans quels cas agent-desktop est-il utile ?
– **Tests d’applications natives** : cliquer automatiquement dans les panneaux de réglages, vérifier l’état de l’interface
– **Extension d’un Agent de programmation** : permettre à Claude Code d’ouvrir l’application de bureau pour vérifier le résultat après avoir écrit le code
– **Opérations de bureau répétitives** : ranger des fichiers dans le Finder, lire des notifications, lire et écrire dans le presse-papiers
Les tâches liées au web sont à confier à agent-browser.
Q5 : comment l’Agent qui appelle agent-desktop peut-il se connecter rapidement à un modèle ?
1. Créez un compte sur APIYI apiyi.com et générez une clé API depuis la page des jetons ; les nouveaux utilisateurs disposent d’un quota de test gratuit
2. Pour un client compatible OpenAI, réglez le Base URL sur `https://api.apiyi.com/v1` ; pour un client natif Anthropic, sur `https://api.apiyi.com`
3. Choisissez le modèle `claude-opus-5-5` ou `claude-sonnet-5-5`, puis lancez la boucle snapshot décrite dans cet article
Q6 : le MCP est configuré, mais l’Agent renvoie 401 ou 404 : est-ce la faute d’agent-desktop ?
En général, non. agent-desktop ne se connecte pas au service de modèle : un 401 vient plutôt d’un problème de jeton, un 404 le plus souvent d’un `/v1` mal écrit ou d’un nom de modèle mal orthographié. Lancez d’abord `agent-desktop snapshot` seul dans le terminal pour confirmer que l’outil fonctionne, puis vérifiez la configuration côté modèle en vous reportant à la documentation du Base URL d’APIYI apiyi.com.
Q7 : quelles sont les limites connues d’agent-desktop ?
– Les applications dont l’arbre d’accessibilité est illisible restent invisibles pour lui
– Certaines versions introduisent des changements cassants (comme 1.1.0 et 1.3.0) : lisez le Changelog avant de mettre à jour
– Le provider sandbox vise pour l’instant macOS ; on ne sait pas encore si les autres plateformes suivront
– Pas d’automatisation web : il faut le combiner avec agent-browser
Points clés d’agent-desktop
- L’outil n’embarque aucun modèle : agent-desktop se contente d’émettre une enveloppe JSON ; la boucle et les décisions restent côté appelant
- Computer use sans capture d’écran : on s’appuie sur les arbres d’accessibilité AX, UI Automation et AT-SPI, et on agit par ref
- La ref doit être complète : de la forme
@s8f3k2p9:e8; après tout changement d’interface, il faut refaire un snapshot - Trois plateformes disponibles : macOS 13+, Windows 10 1809+, Ubuntu 24.04+
- MCP en une seule ligne : depuis la 1.2.0,
agent-desktop mcppasse par stdio - Le web, c’est pour agent-browser : les applications Electron peuvent être transférées via le port DevTools
- Brancher le cerveau : l’URL de base de l’appelant pointe vers APIYI apiyi.com, avec
claude-opus-5-5comme modèle
En résumé
Les points essentiels d’agent-desktop :
- Un positionnement clair : c’est les « yeux et les mains » des applications de bureau, sans modèle embarqué et sans gestion du web
- Une boucle simple : installation →
permissions --guide→ snapshot → clic → nouveau snapshot, avec--skeletonpour maîtriser la longueur du contexte - Une intégration souple : CLI, MCP, skills, FFI, tout est possible ; le sandbox de la 1.3.0 est parfait pour des essais isolés
- Des risques à maîtriser : l’autorisation d’accessibilité et les données personnelles présentes dans les snapshots doivent être gérées selon les standards de l’automatisation de bureau
Une fois le côté outil validé, il ne reste plus qu’à donner à la boucle un cerveau adapté. Le conseil : créer un jeton via APIYI apiyi.com, faire pointer l’URL de base de Claude Code, OpenCode ou de votre script maison vers ce service, valider le flux avec claude-opus-5-5, puis évaluer en fonction de la complexité de la tâche s’il faut passer à claude-sonnet-5-5.
📚 Références
- GitHub – agent-desktop : dépôt open source officiel, avec README, FAQ et Changelog
- Lien :
github.com/vercel-labs/agent-desktop -
Note : c’est ici que font foi les changements de version, la liste des commandes et les avertissements de confidentialité
-
Documentation officielle d’agent-desktop : concepts et démarrage rapide
- Lien :
agent-browser.dev/desktop,agent-browser.dev/desktop/quick-start -
Note : installation, autorisation et exemple minimal de bout en bout
-
npm – agent-desktop : page du paquet npm
- Lien :
npmjs.com/package/agent-desktop -
Note : pour consulter la version publiée actuelle
-
Vercel – What is computer use : présentation du concept de computer use
- Lien :
vercel.com/i/what-is-computer-use -
Note : comprendre la différence entre l’approche par arbre d’accessibilité et l’approche par captures d’écran
-
Centre de documentation APIYI : tableau des modèles, configuration du Base URL, description des capacités de Claude
- Lien :
docs.apiyi.com/models.md,docs.apiyi.com/faq/base-url-config.md,docs.apiyi.com/api-capabilities/claude.md - Note : les modèles et les tarifs sont à vérifier dans la liste des modèles de la plateforme
Auteur : équipe technique APIYI
Échanges techniques : n’hésitez pas à nous contacter depuis la page d’accueil du site APIYI (apiyi.com) ; pour plus de ressources, consultez le centre de documentation docs.apiyi.com
