COLLISION AI
ストックにはログインが必要です
CPU推論12ミリ秒未満を実現する最先端の1B規模因果トランスフォーマー
Artificial Intelligence
Developer Tools
Open Source
概要
- 約9億9,900万パラメータを備え、CPU上で12ミリ秒未満の高速推論を目指して設計されたオープンソースモデルです。
- リアルタイムの根拠検証と決定論的な数学処理に対応し、生成AIの回答におけるハルシネーションの抑制を重視しています。
主な特徴
- 独自開発のNLPスイートとネイティブAVX-512カーネルを搭載し、対応ハードウェアで効率的なCPU処理を実現します。
- 二重ストリーム方式の引用検索により、回答生成と関連する根拠・引用情報の取得を並行して行えます。
こんな人におすすめ
- 低遅延の推論、オンデバイス処理、リアルタイム分析など、クラウド依存を抑えたAIシステムを開発したい人に適しています。
- 回答の検証可能性や数学的な再現性を重視する研究者・開発者、MITライセンスのモデルを活用したい人に向いています。
投票数: 1