Troy

概要

• Apple Silicon搭載Mac上で、CUDAやクラウドを使わずにLLMのファインチューニングと選好チューニングを実行できるCLIです。
• モデルやデータ、LoRA設定を1つのYAMLに記述し、「troy train」を実行するだけで学習から運用まで進められます。

主な特徴

• 学習後のモデルをチャットや評価で確認でき、OpenAI互換APIとしてローカル提供したり、GGUF・Ollama形式で書き出したりできます。
• 手元のドキュメントから学習データを自動生成でき、さらにWi-Fi上のiPhoneをワーカーとして使う分散生成機能にも対応しています。
• SFT、DPO、ORPO、ビジョン・ランゲージモデルに対応し、LlamaやQwenなどMLX-LM対応の多様なモデルを扱えます。

こんな人におすすめ

• MacBookの性能を活用して、クラウドGPUや複雑な機械学習環境に頼らずLLMを試したい開発者や研究者に適しています。
• 独自ドキュメントを使ったモデル調整から評価、API公開、OllamaやiPhoneアプリへの展開まで一貫して行いたい人に向いています。