SentrySearch: AIによるセマンティックビデオ検索

SentrySearch: セマンティック検索でビデオ映像分析を革新

数時間のビデオ映像から特定の瞬間を見つけるのが劇的に簡単になりました。SentrySearchは、最先端のビデオ埋め込みモデルを使用したオープンソースのPythonツールで、自然言語クエリでビデオを検索可能にします。

仕組み(純粋な魔法)

映像を手動でスクラブする代わりに、SentrySearchは以下のことを行います: 1. ビデオを重複する30秒のセグメントに分割 2. 各チャンクをGoogleのGemini Embedding API または ローカルのQwen3-VLモデルで埋め込み 3. 埋め込みをローカルのChromaDBベクトルデータベースに保存 4. テキストクエリ("赤信号を通過する車")をビデオ埋め込みと照合 5. 最適な一致クリップを自動的にトリミングして保存

転写不要。フレームキャプション不要。直接ビデオからテキストへのセマンティックマッチング。

🚀 クイックスタート(5分)

# uvでインストール(最速のパッケージマネージャー)
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/ssrajadh/sentrysearch.git
cd sentrysearch
uv tool install .

# APIキーの設定(無料ティア利用可能)
sentrysearch init

# 映像のインデックス作成
sentrysearch index /path/to/videos

# 検索してクリップを取得!
sentrysearch search "停止標識を通過する赤いトラック"

結果: ./match_front_2024-01-15_14-30_02m15s-02m45s.mp4

🌐 2つのバックエンド:クラウドまたはローカル

バックエンド 利点 欠点 コスト
Gemini API (デフォルト) 最高品質、GPU不要 APIキー必要 インデックス1時間あたり約$2.84
ローカルQwen3-VL 無料、プライベート、オフライン GPU/M1+ Mac必要 無料

ローカルモデルはハードウェアに自動スケール: - NVIDIA 18GB+ VRAM: Qwen8B (フル精度) - 8-16GB VRAM: 4-bit量子化 (~6GB) - M1/M2 Mac 16GB+: Qwen2B (~6GB)

Tesla Dashcamの超能力

Tesla Sentry Modeの映像をお持ちですか? SentrySearchは埋め込みテレメトリを抽出してHUDオーバーレイを焼き付けます:

Tesla Overlay

sentrysearch search "車が割り込んでくる" --overlay

速度、GPS位置、タイムスタンプ、さらには逆ジオコーディングされた道路名を表示します。

💰 コスト最適化

  • 静止フレームスキップ: 駐車中の車映像を自動スキップ
  • 前処理: 95%サイズ削減 (480p@5fpsチャンク)
  • 調整可能チャンク: --chunk-duration 60 --overlap 5でAPIコスト半減

1時間インデックス = 約$2.84 (3,600フレーム × $0.00079)

🛠️ プロ機能

# 上位5つの一致を保存
sentrysearch search "歩行者" --save-top 5

# カスタム信頼度閾値
sentrysearch search "イベント" --threshold 0.7

# インデックス管理
sentrysearch stats
sentrysearch remove old_footage/
sentrysearch reset

🎯 ユースケース

  • Teslaオーナー: Sentry Modeインシデント分析
  • セキュリティチーム: 監視映像検索
  • コンテンツクリエイター: 生映像から特定クリップ検索
  • 研究者: ビデオデータセットの行動パターンクエリ
  • ダッシュカム/アクションカム映像をお持ちの誰でも

📦 対応ファイル

✅ MP4, MOVファイル ✅ Teslaファームウェア2025.44.25+ (HW3+) ✅ 通常のダッシュカム、スマホ動画、セキュリティカメラ ✅ Python 3.11+、ffmpeg (自動バンドル)

🚀 SentrySearchが勝つ理由

  • 2.6K GitHubスター、実戦テスト済み
  • MITライセンス、本番環境対応
  • 数時間の映像でもサブセカンド検索
  • デュアルバックエンド (クラウド + ローカル)
  • 自動トリミング、後処理不要
  • コスト意識の最適化 内蔵

映像の早送りを止めて。検索を始めましょう。

⭐ GitHubでスター | 今すぐインストール

オリジナル記事: オリジナルを表示

この記事を共有