iphone-use
ストックにはログインが必要です
APIのないアプリも含め、AIエージェントで実機のiPhoneを操作
Artificial Intelligence
Developer Tools
GitHub
Apple
概要
- AIエージェントが実機のiPhoneを操作し、APIを提供していない銀行、決済、ヘルスケア、チャットアプリも扱えるようにします。
- 画面情報の取得からタップ、文字入力、スクロールまでをWebDriverAgent経由で実行し、ブラウザ操作に近い感覚で自動化できます。
主な特徴
- 各アクションの結果を「適用済み」「未送信」「不明」などで返し、誤操作や結果不明のまま処理が進むリスクを抑えます。
- スクリーンショットを制限する決済アプリはワイヤーフレームで表示し、完了済みの作業はモデルなしで再生できるフローに変換できます。
- HTTP API、Claude Code向け21ツールのMCPサーバー、ブラウザやiOSアプリからのリモート操作に対応しています。
こんな人におすすめ
- 日常的に使うアプリにAPIがなく、AIエージェントから実際のiPhone上で定型作業を自動化したい開発者に適しています。
- 操作結果に応じた分岐や安全なリトライを重視し、単純なタップの自動化以上に信頼性の高いエージェント連携を求める人に向いています。
- Mac、Xcode、USB接続したiPhoneを用意でき、オープンソースの仕組みを自分の環境で試したい人に適しています。
投票数: 108