PageSift

概要

• URL、PDF、Officeファイルなどの多様なコンテンツを、AIエージェント向けのクリーンなMarkdownや構造化データへ変換します。
• 外部サービス不要の単一Rustバイナリとしてセルフホストでき、ページ単位の従量課金を気にせず運用できます。

主な特徴

• スクレイピング、クロール、サイトマップ作成、バッチ処理、変更監視に加え、スキャンPDFのOCRやWord・Excelなどの解析にも対応します。
• CLI、互換API、MCPサーバー、Python／Node SDKを備え、既存のAI開発環境や自動化ワークフローへ組み込みやすく設計されています。
• PDFを毎秒数千ページ処理できる高速性を備え、ベンチマーク手法や弱点も公開する透明性の高いオープンソースプロジェクトです。

こんな人におすすめ

• AIエージェントやRAG基盤に向けて、Webページ・PDF・業務文書を安定した形式で収集、前処理したい開発者に適しています。
• 外部APIへの依存や従量課金を避けながら、自社環境で大規模なクロールや文書解析基盤を運用したいチームに向いています。