Pinstripes

プロダクト概要

• 目標: 無限に近い並列LLMインスタンスと瞬時推論を、巨額の請求なしで実現すること。
• アプローチ: 高い同時実行性を安価なレガシー/低コストハードウェア上でオープンウェイトモデルを最適化。MoEエージェントを重視。
• 特徴: OpenAI互換のドロップインAPI。エージェント Frameworkのエンドポイントを1行で置換可能。
• コスト設計: モデル依存で0.14ドル/トークン程度。公正な価格設定を志向し、大幅な利益マージンは採用していない。
• パフォーマンス/課題: 初回はコールドスタートで200ms超の遅延の可能性。持続的な負荷で高速化。
• 将来展望: データセンター用ハードウェア開発の検討、GLM 5.2最適化、来週以降100+トークン/秒を見込む。