JJYB_AI VideoAutoCut：オープンソースAIビデオ編集ツールキット
JJYB_AI VideoAutoCut – 完全なオープンソースAIビデオ編集ツールキット
2025年末、Jianjie Yiという開発者が JJYB_AI_VideoAutoCut（別名 JJYB_AI 智剪）をリリースしました。これは、専門的なビデオ制作をホビイストやコンテンツクリエイターの手に渡すエンドツーエンドのAIビデオ編集ソリューションです。プロジェクトは単一のGitHubリポジトリで、以下をまとめています：
- Flaskベースのウェブフロントエンド + 軽量デスクトップラッパー
- 19の言語モデル（ChatGLM、GPT‑4、Claude 3…）
- 6つのビジョンモデル（YOLOv8、GPT‑4V、Gemini Visionなど）
- 4つのTTSエンジン（Edge‑TTS、Google TTS、Azure TTS、Voice Clone）
- 強力なFFmpeg‑MoviePy‑OpenCV処理パイプライン
以下では、アーキテクチャ、主要機能、クイックスタート、数つの実用的なユースケースを詳しく解説します。
1. プロジェクト概要
JJYB_AI_VideoAutoCut
├─ frontend/ # Flask + SocketIO UI
├─ backend/ # AI services & processing logic
├─ config/ # Global INI settings
├─ resource/ # Pre‑downloaded model weights
├─ upload/ # User’s raw files
└─ output/ # Final video artefacts
ハイライト
| Feature | Description |
|---|---|
| Smart Cutting | YOLOv8とカスタムシーンチェンジ検出器を使用した自動セグメント検出 |
| Original Commentary | Vision解析 → LLMドラフト → TTS → ビデオオーバーレイ |
| Multi‑Engine Voice‑Over | Edge‑TTS（無料、23+ボイス）、Google TTS、Azure TTS、Voice Clone |
| Mix‑Cut Mode | バッチインポート、自動ハイライト、スタイル指導トランジション、ミュージック・シンクカット |
| Extremely Low Latency | カスタムタイミングマップを使用したオーディオとビデオ間の < 100 ms 同期 |
| One‑Click Startup | 启动应用.bat が check_system.py を実行し、依存関係を解決、http://localhost:5000 でアプリを起動 |
2. インストール & セットアップ
1. リポジトリをクローン
git clone https://github.com/jianjieyiban/JJYB_AI_VideoAutoCut.git
cd JJYB_AI_VideoAutoCut
2. 仮想環境を作成してアクティベート
python -m venv venv
source venv/bin/activate # Windows: venv\\Scripts\\activate
3. 依存関係をインストール
pip install -r requirements.txt
Tip – WindowsでGPUを持つマシンの場合、公式サイトからCUDA対応PyTorchホイールをインストールしてください。
4. システム要件を確認
python check_system.py
5. APIを設定
起動後 http://localhost:5000/api_settings にアクセスしてください。最低限、以下を入力します：
* Large Language Model のAPIキー（例：Alibaba TongYi‑Qwen‑Plus、DeepSeek、または OpenAI）。UI が自動で接続テストを実施します。
* オプションで Vision モデルキー（例：Tencent CVまたは Google‑Vision）。
* Edge‑TTS はオフライン利用可。その他のTTSエンジンは認証情報が必要になる場合があります。
6. アプリケーションを起動
启动应用.batをダブルクリックするか、python frontend/app.pyを実行し、http://localhost:5000を開く。
これで軽量ウェブアプリのビデオ編集が始められます！フロントエンドには3つのサブアプリが組み込まれています。
1. index.html – タイムラインエディタ
2. voiceover.html – AI音声オーバー モジュール
3. commentary.html – 自動生成ナレーション
3. コア機能の詳細
3.1 Smart Cutting
システムは生データを自動的に論理的なセグメントに分割します。YOLOv8でオブジェクト検出、OpenCVでフレームバイフレーム解析を行います。検出閾値は config/ で調整可能です。
調整方法
[cutting]
ObjectScoreThreshold = 0.4
SceneChangeSensitivity = 0.8
3.2 Original Commentary Pipeline
- Vision Parsing – オブジェクト・顔・アクションを検出。
- LLM Scripting – 選択モデルに基づきコンパクトな解説を生成。
- TTS Synthesis – 文章を音声にレンダリング。
- Video Overlay – タイムラインにオーディオを同期し、必要に応じて字幕を追加。
Pro Tip:
TongYi‑Qwen‑Plusモデルは中国語ビデオにおいてコスト、速度、品質のバランスが良いとされています。
3.3 AI Voice‑Over
言語と音声を選択し、スピード、ピッチ、音量を調整します。UI では最終レンダリング前にリアルタイムプレビューが可能です。
4. Mix‑Cut & Music‑Sync
複数のクリップをアップロード → システムがクールなスニペットを検出し、指定スタイルで並べ、トランジションを追加し、音楽トラックにカットを同期します。
5. 高度な使用とオートメーション
# 例：将来の機能として CLI でバッチ処理
from backend.api import process_video
process_video(
src='uploads/sample.mp4',
model='tongyi_qwen',
voice='en_azure_01',
mode='commentary',
output='output/sample_result.mp4'
)
Note: UI で十分ですが、
docs/API.mdに記載されたRESTエンドポイントを直接使用してバックエンドと対話することも可能です。
6. 開発 & コントリビューション
プロジェクトは標準的なGitワークフローに従っています。貢献ガイドライン：
1. フォークしてクローン。
2. フィーチャーブランチを作成（例：git checkout -b feature/X）。
3. tests/ 以下に単体テストを追加。
4. 機能追加時は README.md やドキュメントを更新。
5. PR を送信。
メンテナはモデルサポートの向上、新UI機能の追加、処理パイプラインの洗練などを行う PR を積極的にレビューします。
7. コミュニティ & サポート
- GitHub Issues – バグ、機能要望、一般質問。
- Discord – クイックヘルプ、デモ、チュートリアルを提供する別サーバー（READMEの招待リンク参照）。
- Documentation –
开发文档/フォルダには AI モデル設定から詳細なAPI使用までを網羅した多章ガイドが含まれます。
8. なぜこのオープンソースプロジェクトは試す価値があるか
- ゼロコスト – すべて主要モデルは無料またはオープンソース。ペイドAPIは任意。
- モジュラー設計 – 数行の設定で任意のLLM、ビジョン、TTSモデルを差し替可能。
- クロスプラットフォーム – Windows、macOS、Linuxで Flask で動作。
- 拡張性 – 研究者は
resource/フォルダに新モデルチェックポイントを追加可能。 - クラウドロックイン無し – すべてローカルで動作；ビデオデータは決してマシンを離れません。
今すぐ始めよう
JJYB_AI VideoAutoCut をダウンロードして試してみてください。ウェブUIを開き、APIキーを入力し、AIに重労働を任せるだけで、コードを書かずにAI強化ビデオを作成できます。
編集をお楽しみください！