LLMSlim

概要

LLMSlimは1行のコードでLLMのトークンコストを40–70%削減するオープンソースPythonパッケージです。プロンプト、RAG文書の文脈、複数ターンのチャットを外科的に圧縮し、指示の忠実性を100%保証します。

特徴

• 決定論的なオフラインパイプライン、LLM呼び出しなし
• 中心性・エンティティ密度・指示の有無のスコアリング
• 命令形（must, never）、役割マーカー、コードブロックは先に排除

開発情報

MITライセンス、テストカバレッジ90%以上、CIベンチマークは実測値。実測レンジは短いプロンプト約24ms〜12Kトークン文書約340ms。

今後の展望

ストリーミング圧縮（compress_stream）、ONNX埋め込みで5ms未満のスコアリング、非同期バッチヘルパーをロードマップに掲載。