Sapient

概要

Sapientは小型言語モデル向けの高速・純Rust製のエッジ推論エンジン。チャット、Whisperの音声認識、リアルタイムの音声合成をすべてデバイス上で実行します。ノートPCからRaspberry Piまで対応。Python・Docker・CUDAは不要。インストールは1コマンド、実行は1行で完了します。

特長

• 完全オンデバイドで低遅延とプライバシーを実現
• 軽量設計で組み込み用途に適合
• オープンソース

活用イメージ

• ローカル推論によるプライバシー重視のアプリ
• エッジデバイスでの対話的体験