Cockroach Crawler

概要

Cockroach Crawlerは、AIエージェントのウェブ推論を支えつつ、起源・予算・実行時の証拠をホストが管理できる、安全と機能を両立したオープンソースのNode.jsツールキットです。静的・レンダリングページのクロール、適応的巡回、スクリーンショット・PDF、Markdown・構造化データの抽出、GitHub/YouTubeの読み取り、MCP・Docker・Cloudflare Workers対応を統合します。出力はMarkdown・JSON・証拠レコードとして返します。

主な特徴

• 静的・動的ページのクロールと抽出
• 適応的巡回とマルチ出力
• GitHub/YouTubeの公開ソース読み取り
• 複数接続オプション（JavaScript・CLI・MCP・Docker・Worker）

互換性

• Node.js 22/24/26対応
• 公開テストとベンチマークを提供