iphone-use logo

iphone-use

APIのないアプリも含め、AIエージェントで実機のiPhoneを操作

Artificial Intelligence Developer Tools GitHub Apple

概要

  • AIエージェントが実機のiPhoneを操作し、APIを提供していない銀行、決済、ヘルスケア、チャットアプリも扱えるようにします。
  • 画面情報の取得からタップ、文字入力、スクロールまでをWebDriverAgent経由で実行し、ブラウザ操作に近い感覚で自動化できます。

主な特徴

  • 各アクションの結果を「適用済み」「未送信」「不明」などで返し、誤操作や結果不明のまま処理が進むリスクを抑えます。
  • スクリーンショットを制限する決済アプリはワイヤーフレームで表示し、完了済みの作業はモデルなしで再生できるフローに変換できます。
  • HTTP API、Claude Code向け21ツールのMCPサーバー、ブラウザやiOSアプリからのリモート操作に対応しています。

こんな人におすすめ

  • 日常的に使うアプリにAPIがなく、AIエージェントから実際のiPhone上で定型作業を自動化したい開発者に適しています。
  • 操作結果に応じた分岐や安全なリトライを重視し、単純なタップの自動化以上に信頼性の高いエージェント連携を求める人に向いています。
  • Mac、Xcode、USB接続したiPhoneを用意でき、オープンソースの仕組みを自分の環境で試したい人に適しています。
投票数: 108
← 投稿一覧に戻る