MagicPhone
ストックにはログインが必要です
Androidアプリを操作するオープンソースAI
Artificial Intelligence
GitHub
Open Source
Android
概要
- テキストや音声で指示すると、Androidアプリをまたいだ操作をAIが実行し、結果を吹き出しや会話画面で返します。
- 使用中の画面上にフローティング入力欄を表示でき、アプリを切り替えずに依頼・進捗確認・タスク停止を行えます。
- 許可された画面内容を読み取り、タップ、入力、スクロールなどを実行。回答の読み上げにも対応しています。
特徴・注意点
- MITまたはApache-2.0で公開されたオープンソースソフトウェアで、Android 11以降に対応し、root権限なしで利用できます。
- 接続したAIプロバイダーへプロンプトと許可された画面情報を送信するため、オフライン動作ではなく、料金や利用制限が適用されます。
- アーリーアクセス版のため、アプリや端末によって互換性が異なります。重要な操作は監督し、必要に応じて停止機能を使う必要があります。
こんな人におすすめ
- 自然言語でAndroidの複数アプリを操作し、タップや入力などの定型作業を効率化したい人に適しています。
- AIエージェントによるスマートフォン操作の可能性を試したい、開発状況や互換性の変化を確認しながら使える人に向いています。
- オープンソースのコードを確認したり、実際のワークフローを試して改善点をフィードバックしたい開発者や先進ユーザーにおすすめです。
投票数: 1