Peekaboo：AI駆動のmacOS CLI（スクリーンショット＆GUI用）
Peekaboo：AI駆動のmacOS CLI（スクリーンショット＆GUI用）
AIがますます業務に組み込まれる現代、デスクトップを見て・行動できる軽量かつスクリプト化可能なツールはゲームチェンジャーです。Peekaboo がそのツールです。無料でMITライセンス、macOS専用のコマンドラインインタフェース（CLI）およびオプションのMCPサーバーで、スクリーンショット取得、UI要素の検査、正確なコマンド送信を行い、GPTスタイルまたはローカルOllamaモデルを使って画面を解析します。
なぜ Peekaboo？ 差別化ポイント
| 機能 | 動作内容 | 重要性 |
|---|---|---|
| ピクセル単位の正確なキャプチャ | ウィンドウ、メニュー、または画面全体のスクリーンショットを取得（Retinaスケールオプション付き） | AIに必要な忠実度を提供し、信頼性の高い可視理解を可能にする |
| 自然言語によるナビゲーション | peekaboo "Open Notes and create a TODO list" のようなコマンド |
非技術者が英語で自動化を作成できる |
| 豊富なツールセット | see、click、type、scroll、menu、dock など |
各ツールはUIアクションに対応し、複雑なワークフローを可能にする |
| 複数AIプロバイダー対応 | GPT‑5.1、Claude 4.x、Grok 4‑fast、Gemini 2.5、ローカルOllama | プライバシーや予算に合わせたモデルを選択できる |
| CLI + MCPサーバー | 1つのバイナリでCLIスクリプトとClaude DesktopやCursorのプラグイン両方に対応 | ダブルツール不要の汎用性 |
| オープンソース、コミュニティ優先 | 2,000+ スター、アクティブな貢献者、MITライセンス | ロックイン無し、フォークや機能追加が可能 |
Getting Started
1. macOS アプリと CLI のインストール
brew install steipete/tap/peekaboo
Homebrew フォーミュラはネイティブの Swift バイナリ、ドラッグ＆ドロップで使用できる macOS アプリ、CLI ツールの Homebrew 管理コピーを含みます。
2. MCP サーバーとしてインストール（Node 22+）
JavaScript 環境から Peekaboo を実行したい、または Claude Desktop/Cursor の MCP インタフェースに統合したい場合：
npx -y @steipete/peekaboo
これによりデフォルトポートで MCP サーバーが起動し、好みのデスクトップ AI からリクエストを受け付けるようになります。
Quick‑Start Examples
以下は Peekaboo の最も一般的なユースケースを示すコマンドラインスニペットです。
# Retina 2x で画面全体をキャプチャし保存
peekaboo image --mode screen --retina --path ~/Desktop/screen.png
# Safari のスクリーンショットを取得し、スナップショット ID を抽出してラベルをクリック
snapshot_id=$(peekaboo see --app Safari --json-output | jq -r '.data.snapshot_id')
peekaboo click --on "Reload this page" --snapshot "$snapshot_id"
# 完全な自然言語自動化スクリプトを実行
peekaboo "Open Notes and create a TODO list with three items"
# CLI を使って現在の全ウィンドウを一覧表示
peekaboo list windows
4. .peekaboo.json Automation Scripts の作成
Peekaboo の run サブコマンドは、決定論的でテスト可能なワークフローを作成できます：
{
"steps": [
{"click": {"on": "Google Search", "app": "Safari"}},
{"type": {"text": "OpenAI API", "delay_ms": 200}},
{"press": {"key": "Enter", "repeat": 1}}
]
}
そして peekaboo run script.json を実行します。
カスタム AI モデルでツールを拡張
Peekaboo はデフォルトで GPT‑5.1 を使用しますが、PEEKABOO_AI_PROVIDERS 環境変数を設定するか peekaboo config add を使えば、OpenAI、Anthropic、xAI、Gemini、ローカル Ollama モデルを簡単に指定できます。
peekaboo config add openai/gpt-5.1
peekabou config add anthropic/claude-opus-4
peekaboo config add ollama/llava
JSON スクリプトやインタラクティブプロンプト内で、AI にスクリーンショット座標生成、ビジョン解釈、次のアクション提案を依頼できるようになります。
Common Use Cases
| シナリオ | Peekaboo がどのように役立つか |
|---|---|
| 自動 UI テスト | see で DOM‑似たツリーを取得し、click や type アクションでユーザーフローをシミュレート、アサーションスクリプトを使ってスナップショットを比較 |
| 音声制御ワークフロー | 音声認識出力を Peekaboo プロンプトにパイプし、AI が対象となる UI 要素を決定 |
| デスクトップボット | robotjs や expect などと組み合わせて macOS と AI を横断するエンド‑ツー‑エンド自動化 |
| アクセシビリティ監査 | see でアクセシビリティツリーを検査し、AI に報告書作成を依頼 |
Contributing & Community
Peekaboo は @steipete と数名のコントリビューターによって継続的にメンテナンスされています。新機能を追加したい、プルリクエストを送る、あるいは問題を報告したい場合は、CONTRIBUTING.md をご覧ください。
このプロジェクトの MIT ライセンスはフォーク、変更、配布を制限なく可能にし、趣味からプロフェッショナルまで幅広く利用できます。
Wrap‑Up
Peekaboo は生のスクリーンショットをプログラム可能な UI に変換します。1行で自動化する場合も、AI 主導のデスクトップアシスタントを構築する場合も、オープンソース CLI で生の力と AI インテリジェンスを無料で手に入ります。macOS 上で Grab して使い、あなたの生産性を急上昇させてください。
自動化をお楽しみください！