Lucy Screen Agent

概要

• Lucyは、画面とアクセシビリティ情報を認識し、人がスマートフォンを操作するようにAndroid上の作業を音声で進める実験的なAIエージェントです。
• アプリごとの専用APIや統合機能に依存せず、画面の再認識と次の操作を繰り返しながら、複数アプリにまたがるタスクを実行します。

主な特徴

• 音声入力と音声返信に対応し、スクリーンショットとアクセシビリティツリーをGeminiで解析して、要素IDを使ったタップや入力、スワイプを行います。
• 英語・日本語・アラビア語をサポートし、停止用の常時表示通知、最大50ステップの制限、各自のGemini APIキーを利用する方式を備えています。
• Lucy独自のバックエンド、アカウント、分析機能、テレメトリーはなく、無料で利用できるMITライセンスのオープンソースプロジェクトです。

利用時の注意と想定ユーザー

• 手が不自由な人、料理中や作業中でスマートフォンを操作しにくい人、複雑な設定画面を音声で進めたい人に役立つ可能性があります。
• 実験段階のため、強力な画面キャプチャー権限とアクセシビリティ権限が必要です。操作中は画面の画像や表示テキストがGoogle Gemini APIへ送信されます。
• Android端末やアプリごとの動作検証、確認ゲートやアプリの許可リスト、追加言語、AIバックエンド、テスト改善に関心のある開発者にも適しています。