SentrySearch:使用 AI 进行语义视频搜索

SentrySearch:使用语义搜索革新视频片段分析

在数小时的视频片段中找到特定时刻现在变得简单得多。SentrySearch 是一个开源 Python 工具,使用前沿的视频嵌入模型,让您的视频可以通过自然语言查询进行搜索。

工作原理(纯魔法)

SentrySearch 无需手动快进视频,而是: 1. 分块 将您的视频分成重叠的 30 秒片段 2. 嵌入 使用 Google 的 Gemini Embedding API 本地 Qwen3-VL 模型对每个片段进行嵌入 3. 存储 将嵌入存储在本地 ChromaDB 向量数据库中 4. 匹配 将您的文本查询("汽车闯红灯")与视频嵌入进行匹配 5. 自动裁剪 并保存最佳匹配片段

无需转录。无需帧标注。直接视频到文本的语义匹配。

🚀 快速开始(5 分钟)

# 使用 uv 安装(最快的包管理器)
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/ssrajadh/sentrysearch.git
cd sentrysearch
uv tool install .

# 设置 API 密钥(有免费额度)
sentrysearch init

# 索引您的视频
sentrysearch index /path/to/videos

# 搜索并获取片段!
sentrysearch search "红色的卡车闯停车标志"

结果: ./match_front_2024-01-15_14-30_02m15s-02m45s.mp4

🌐 两种后端:云端或本地

后端 优点 缺点 成本
Gemini API(默认) 最佳质量,无需 GPU 需要 API 密钥 ~$2.84/小时索引
本地 Qwen3-VL 免费、私密、离线 需要 GPU/M1+ Mac 免费

本地模型自动适配 您的硬件: - NVIDIA 18GB+ VRAM:Qwen8B(全精度) - 8-16GB VRAM:4 位量化(~6GB) - M1/M2 Mac 16GB+:Qwen2B(~6GB)

Tesla 行车记录仪超能力

有 Tesla Sentry Mode 视频?SentrySearch 提取嵌入式遥测数据并叠加 HUD 图层

Tesla Overlay

sentrysearch search "汽车插队" --overlay

显示速度、GPS 位置、时间戳,甚至反向地理编码的街道名称。

💰 成本优化

  • 静态帧跳过:自动跳过停车视频
  • 预处理:95% 尺寸缩减(480p@5fps 片段)
  • 可调片段--chunk-duration 60 --overlap 5 将 API 成本减半

1 小时索引 = ~$2.84(3600 帧 × $0.00079)

🛠️ 专业功能

# 保存前 5 个匹配
sentrysearch search "行人" --save-top 5

# 自定义置信度阈值
sentrysearch search "事件" --threshold 0.7

# 管理索引
sentrysearch stats
sentrysearch remove old_footage/
sentrysearch reset

🎯 使用场景

  • Tesla 车主:分析 Sentry Mode 事件
  • 安全团队:搜索监控视频
  • 内容创作者:在原始视频中找到特定片段
  • 研究人员:查询视频数据集中的行为模式
  • 任何 有行车记录仪/运动相机视频的人

📦 兼容格式

✅ MP4、MOV 文件 ✅ Tesla 固件 2025.44.25+(HW3+) ✅ 普通行车记录仪、手机视频、安全摄像头 ✅ Python 3.11+、ffmpeg(自动捆绑)

🚀 为什么选择 SentrySearch

  • 2.6K GitHub 星标,经过实战考验
  • MIT 许可,生产就绪
  • 亚秒级搜索 即使是数小时视频
  • 双后端(云端 + 本地)
  • 自动裁剪,无需后处理
  • 成本感知 内置优化

停止快进视频。开始搜索吧。

⭐ GitHub 星标 | 立即安装

原始文章: 查看原文

分享这篇文章