PocketLLM

概要

PocketLLMはLLMのランタイム・モデル重み・チャットUIをUSBドライブにまとめて配布します。Mac/ Linux の任意の機器に挿すだけで、インストール不要・クラウドなし・痕跡なしのローカルAIを起動できます。取り外せばホストに何も残りません。

特長

• ポータブル: USBから直接起動
• 速度: 初回ロード後は SSD と同等の推論速度（約54トークン/秒）
• 省リソース: 初回コールドスタート約30秒、その後は RAM 上で評価
• 互換性: Ollama モデル対応、macOS/Linux で動作
• オープンソース: GitHubと公式サイトで公開

見どころと活用例

• 複数のマシンでのローカルAI利用
• セキュアでプライベートな推論環境を手軽に構築