Peekaboo : CLI AI‑propulsé pour macOS – captures d’écran & interface graphique

Peekaboo — CLI AI‑propulsé pour macOS – captures d’écran & interface graphique\nDans un monde où l’IA est de plus en plus tissée dans nos flux de travail, disposer d’un outil léger, scriptable qui peut voir et agir sur votre bureau change la donne. Peekaboo est cet outil. C’est un CLI libre sous licence MIT uniquement sur macOS et un serveur MCP optionnel qui vous permet de capturer des captures d’écran, d’inspecter les éléments d’interface utilisateur et d’envoyer des commandes précises – tout en utilisant des modèles GPT‑style ou locaux Ollama pour raisonner sur l’écran.\nPourquoi Peekaboo ? Ce qui le distingue\n\n| Fonctionnalité | Ce qu’il fait | Pourquoi c’est important |\n|----------------|---------------|-----------------------------|\n| Capture pixel‑exacte | Captures d’écran de fenêtres, menus ou de l’écran entier, optionnellement à résolution Retina | Donne à l’IA la fidélité dont elle a besoin pour une compréhension visuelle fiable |\n| Navigation en langage naturel | Commandes comme peekaboo \"Open Notes and create a TODO list\" | Permet aux utilisateurs non techniques d’« écrire » des automatisations en anglais simple |\n| Pack d’outils riche | see, click, type, scroll, menu, dock, etc. | Chaque outil correspond à une action UI, ce qui permet des workflows complexes |\n| Multi‑fournisseur IA | GPT‑5.1, Claude 4.x, Grok 4‑fast, Gemini 2.5, Ollama local | Choisissez le modèle qui correspond à votre confidentialité ou à votre budget |\n| CLI + serveur MCP | Un seul binaire fonctionne pour les scripts en ligne de commande et comme plug‑in pour Claude Desktop ou Cursor | Polyvalence sans double‑outilage |\n| Open source, convivial | 2k+ étoiles, contributeurs actifs, licence MIT | Pas de verrouillage, vous pouvez forker ou ajouter des fonctionnalités |\n\n## Prise en main\n### 1. Installez l’application macOS & le CLI\nbash\nbrew install steipete/tap/peekaboo\n\nLa formule Homebrew inclut le binaire Swift natif, une application macOS pour utilisation drag‑and‑drop et une copie gérée par Homebrew du CLI.\n### 2. Installez en tant que serveur MCP (Node 22+)\nSi vous préférez exécuter Peekaboo à partir d’un environnement JavaScript ou l’intégrer à l’interface MCP de Claude Desktop/Cursor :\nbash\nnpx -y @steipete/peekaboo\n\nCela lance un serveur MCP à l’écoute sur le port par défaut, prêt à recevoir des requêtes de votre IA de bureau préférée.\n## Exemples rapides de démarrage\nVoici quelques extraits de lignes de commande démontrant les cas d’usage les plus fréquents de Peekaboo.\nbash\n# Capturez l’écran entier en Retina 2x et enregistrez‑le\npeekaboo image --mode screen --retina --path ~/Desktop/screen.png\n\nbash\n# Capturez une capture d’écran de Safari, extrayez l’ID du snapshot, puis cliquez sur une étiquette\nsnapshot_id=$(peekaboo see --app Safari --json-output | jq -r '.data.snapshot_id')\npeekaboo click --on \"Reload this page\" --snapshot \"$snapshot_id\"\n\nbash\n# Exécutez un script d’automatisation en langage naturel complet\npeekaboo \"Open Notes and create a TODO list with three items\"\n\nbash\n# Utilisez le CLI pour lister toutes les fenêtres actuelles\npeekaboo list windows\n\n### 4. Rédiger des scripts .peekaboo.json d’automatisation\nLa sous‑commande run de Peekaboo vous permet de créer des workflows déterministes et testables :\njson\n{\n \"steps\": [\n {\"click\": {\"on\": \"Google Search\", \"app\": \"Safari\"}},\n {\"type\": {\"text\": \"OpenAI API\", \"delay_ms\": 200}},\n {\"press\": {\"key\": \"Enter\", \"repeat\": 1}}\n ]\n}\n\nPuis exécutez peekaboo run script.json.\n## Étendre l’outil avec des modèles IA personnalisés\nPeekaboo s’appuie par défaut sur GPT‑5.1 mais vous pouvez le diriger vers n’importe quel modèle OpenAI, Anthropic, xAI, Gemini ou Ollama local simplement en configurant la variable d’environnement PEEKABOO_AI_PROVIDERS ou en utilisant peekaboo config add :\nbash\npeekaboo config add openai/gpt-5.1\npeekaboo config add anthropic/claude-opus-4\npeekaboo config add ollama/llava\n\nDans vos scripts JSON ou invitez interactives, vous pouvez désormais demander à l’IA de générer des coordonnées de capture d’écran, interpréter la vision ou proposer les actions suivantes.\n## Cas d’usage fréquents\n| Scénario | Comment Peekaboo peut aider |\n|----------|-----------------------------|\n| Tests UI automatisés | Utilisez see pour capturer l’arborescence de type DOM, click et type pour simuler les flux utilisateurs, et des scripts d’assertion pour comparer les snapshots |\n| Flux de travail contrôlés par la voix | Dirigez la sortie de la reconnaissance vocale vers une invite Peekaboo et laissez l’IA décider quel élément UI cibler |\n| Bots de bureau | Combinez Peekaboo avec des frameworks comme robotjs ou expect pour une automatisation de bout‑à‑bout sur macOS et IA |\n| Audits d’accessibilité | Inspectez l’arbre d’accessibilité via see et envoyez‑lui à l’IA pour produire des rapports d’audit |\n## Contribuer et communauté\nPeekaboo est activement maintenu par @steipete et quelques contributeurs. Si vous souhaitez ajouter une nouvelle fonctionnalité, ouvrir une pull request ou simplement signaler un problème, veuillez consulter les CONTRIBUTING.md pour les directives.\nLa licence MIT du projet vous assure pouvoir forker, modifier et distribuer sans restriction — idéal pour les amateurs et les développeurs professionnels.\n## Conclusion\nPeekaboo transforme une simple capture d’écran en une UI programmable. Qu’il s’agisse d’écrire une automatisation monoscript ou de construire un assistant de bureau complet alimenté par l’IA, ce CLI open‑source vous offre la puissance brute et l’intelligence IA dont vous avez besoin — tout cela gratuitement. Prenez-le, testez‑le sur macOS, et voyez votre productivité décoller.\nBonne automatisation!