SentrySearch:使用 AI 进行语义视频搜索
SentrySearch:使用语义搜索革新视频片段分析
在数小时的视频片段中找到特定时刻现在变得简单得多。SentrySearch 是一个开源 Python 工具,使用前沿的视频嵌入模型,让您的视频可以通过自然语言查询进行搜索。
工作原理(纯魔法)
SentrySearch 无需手动快进视频,而是: 1. 分块 将您的视频分成重叠的 30 秒片段 2. 嵌入 使用 Google 的 Gemini Embedding API 或 本地 Qwen3-VL 模型对每个片段进行嵌入 3. 存储 将嵌入存储在本地 ChromaDB 向量数据库中 4. 匹配 将您的文本查询("汽车闯红灯")与视频嵌入进行匹配 5. 自动裁剪 并保存最佳匹配片段
无需转录。无需帧标注。直接视频到文本的语义匹配。
🚀 快速开始(5 分钟)
# 使用 uv 安装(最快的包管理器)
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/ssrajadh/sentrysearch.git
cd sentrysearch
uv tool install .
# 设置 API 密钥(有免费额度)
sentrysearch init
# 索引您的视频
sentrysearch index /path/to/videos
# 搜索并获取片段!
sentrysearch search "红色的卡车闯停车标志"
结果: ./match_front_2024-01-15_14-30_02m15s-02m45s.mp4 ✅
🌐 两种后端:云端或本地
| 后端 | 优点 | 缺点 | 成本 |
|---|---|---|---|
| Gemini API(默认) | 最佳质量,无需 GPU | 需要 API 密钥 | ~$2.84/小时索引 |
| 本地 Qwen3-VL | 免费、私密、离线 | 需要 GPU/M1+ Mac | 免费 |
本地模型自动适配 您的硬件: - NVIDIA 18GB+ VRAM:Qwen8B(全精度) - 8-16GB VRAM:4 位量化(~6GB) - M1/M2 Mac 16GB+:Qwen2B(~6GB)
Tesla 行车记录仪超能力
有 Tesla Sentry Mode 视频?SentrySearch 提取嵌入式遥测数据并叠加 HUD 图层:

sentrysearch search "汽车插队" --overlay
显示速度、GPS 位置、时间戳,甚至反向地理编码的街道名称。
💰 成本优化
- 静态帧跳过:自动跳过停车视频
- 预处理:95% 尺寸缩减(480p@5fps 片段)
- 可调片段:
--chunk-duration 60 --overlap 5将 API 成本减半
1 小时索引 = ~$2.84(3600 帧 × $0.00079)
🛠️ 专业功能
# 保存前 5 个匹配
sentrysearch search "行人" --save-top 5
# 自定义置信度阈值
sentrysearch search "事件" --threshold 0.7
# 管理索引
sentrysearch stats
sentrysearch remove old_footage/
sentrysearch reset
🎯 使用场景
- Tesla 车主:分析 Sentry Mode 事件
- 安全团队:搜索监控视频
- 内容创作者:在原始视频中找到特定片段
- 研究人员:查询视频数据集中的行为模式
- 任何 有行车记录仪/运动相机视频的人
📦 兼容格式
✅ MP4、MOV 文件 ✅ Tesla 固件 2025.44.25+(HW3+) ✅ 普通行车记录仪、手机视频、安全摄像头 ✅ Python 3.11+、ffmpeg(自动捆绑)
🚀 为什么选择 SentrySearch
- 2.6K GitHub 星标,经过实战考验
- MIT 许可,生产就绪
- 亚秒级搜索 即使是数小时视频
- 双后端(云端 + 本地)
- 自动裁剪,无需后处理
- 成本感知 内置优化
停止快进视频。开始搜索吧。
原始文章:
查看原文