TokenShrinker by GigantByte

概要

GigantByte の TokenShrinker は、PDF・HTML・JSON・Markdown・ソースコードを最大70%圧縮して、OpenAI／Gemini に送る前のデータ量を削減します。ノイズを除去し文脈窓を最適化して、意味を損なわずLLMのコストを低減します。

主な特長

• 圧縮率最大70%
• 対応フォーマット: PDF, HTML, JSON, Markdown, ソースコード
• ノイズ除去・文脈窓最適化
• 100% 意味の保持

想定利用者と活用

• デベロッパー、データサイエンティスト
• LLMS連携の前処理を効率化