IronMule
ストックにはログインが必要です
Apple Silicon向けの高性能ローカルLLMランタイム
Artificial Intelligence
Developer Tools
GitHub
Open Source
概要
- AppleのMLXフレームワークを活用した、Apple Silicon専用の軽量なオープンソースLLMランタイム兼ベンチマークツールです。
- Macの統合メモリとMetal実行を活かし、ローカルモデルの実効スループットやプロンプト処理速度を測定できます。
主な特徴
- 事前登録実験、A/A対照、信頼区間を用いて、推論性能の主張を再現可能で透明性のある形で検証します。
- 量子化レベルやモデル構成の違いを比較しながら、インタラクティブなトークン生成レイテンシーも評価できます。
- 汎用的なクロスプラットフォームラッパーに頼らず、Apple Siliconのハードウェア特性に適したネイティブ推論を実現します。
こんな人におすすめ
- Mac上でLLMをローカル実行しており、実際のハードウェア性能を正確かつ再現性のある方法で測定したい人に適しています。
- 複数のモデルや量子化設定を比較し、速度・応答性・メモリ効率を透明なベンチマークで検証したい開発者向けです。
- オープンソースのMLXエコシステムに関心があり、自分のApple Silicon環境で推論性能を試したい人にも向いています。
投票数: 1