Lizard AI Runtime

概要

Windows上でのローカル推論を前提に設計されたネイティブランタイム。多くのアプリがモデルの読み込みに偏る中、推論計画を実行時のハードウェアに合わせて立て、prefillとdecodeを分離して効率化する。GPUメモリの賢い利用と100%ローカル推論でクラウド依存をなくす。GGUFモデルのローカル実行をサポート。将来はCaterpillar等でオーケストレーションのオーバーヘッド削減を目指す。

主な特徴

• ネイティブWindows AIランタイム
• インテリジェントな推論計画
• フェーズ認識実行（Prefill + Decode）
• 賢いGPUメモリ利用
• 100%ローカル推論
• 組み込み診断と透明な動作

成長の視点

• ローカル環境の信頼性とスケール性の向上
• ローカルツールのエコシステム拡張