長尺動画向け ComfyUI MiniMax H3 Timeline Director

参照画像から短いクリップを生成するのは比較的簡単です。しかし、1分以上続く、整合性と同期性を備えた動画を生成するのははるかに困難です。人物の同一性が崩れ、音声の継ぎ目が目立ち、拡張のたびに別のサンプラーチェーンを手作業で構築しなければならないことも少なくありません。

ComfyUI-MiniMaxH3-TimelineDirector は、ComfyUI のネイティブ MiniMax H3 Reference to Video パイプライン向けに、編集可能なタイムラインディレクターを提供することで、このワークフロー上の問題に対応します。参照画像、動画、ペアリングされたサウンドトラック、ガイド、プロンプト、生成ウィンドウを1つのインターフェースにまとめ、タイムラインをセグメント化された生成グラフへ展開します。

このプロジェクトは GPL-3.0 の下で公開されており、参照したリリース時点で275スター、31フォーク、1人のコントリビューターが存在します。バージョン0.6.0では、軽量な無制限長生成に重点を置き、ロックされたソース音声を使った長尺デジタルヒューマンとキャラクター歌唱が追加されています。

タイムラインが重要な理由

このプラグインは、生成を切り離された入力の集合ではなく、配置の問題として扱います。クリップの配置、トリミング、分割、数値範囲の指定、シアン色の生成ウィンドウの設定が可能です。現在の H3 リファレンスまたは Guide プランに含まれるのは、アクティブな生成範囲と交差するメディアだけです。

これにより、通常は別々に扱う次のようなタスクを、1つのワークフローで実行できます。

アップロードしたメディアを使わないテキスト・トゥ・ビデオ。
画像参照による単一セグメントおよび複数セグメントの生成。
音声駆動動画とデジタルヒューマンのリップシンク。
キャラクター置換とモーション転送。
編集可能な動画参照。
手動でセグメント化した長尺動画生成。
サウンドトラックを変更しない長尺キャラクター歌唱。

タイムラインの状態は ComfyUI ワークフロー JSON にシリアライズされるため、メディアの配置を手動で再構築しなくても、プロジェクトを保存、再開、再現できます。

主な機能：セグメント化された無制限長生成

このプラグインは、目標時間をオーバーラップするセグメントに分割し、1回の ComfyUI 実行で処理を完了します。汎用的な Loop ノードや複製したサンプラーチェーンに依存する代わりに、有限展開グラフを使用して次の処理を行います。

1つの共有シードによるセグメントごとの生成。
前セグメントでサンプリングされた AV 潜在表現の末尾からの直接継続。
適応型 Drift-Control ビデオマスク。
Soft AV による音声の連続性。
オーバーラップの除去。
最終的な同期アセンブリ。

実用上の長さの上限は、固定されたセグメント数ではなく、ローカルの VRAM、RAM、ディスク容量、ComfyUI の実行制限によって決まります。リポジトリには、1回の実行で生成された2つの例が含まれており、それぞれ約52.625秒、1,263フレーム、24fpsです。

潜在表現の直接継続が有用な理由

従来の方法では、前のセグメントを RGB にデコードして次の段階に渡し、再度エンコードすることがあります。これは不要なデコード／再エンコードの往復を生み、映像の不連続性を増幅する可能性があります。Finite Segment Sampling では、前のセグメントでサンプリングされた AV 潜在表現の末尾を、次のセグメントの冒頭へ直接渡します。

指定されたオーバーラップは、MiniMax H3 の有効な時間グリッドに合わせて切り下げられます。たとえば、指定した24フレームのオーバーラップが22フレームになり、48フレームが39フレームになることがあります。調整後の値は、潜在表現の引き継ぎ、デコード後のトリミング、最終アセンブリで一貫して使用されるため、各段階でシームの解釈が食い違うことを防ぎます。

Drift-Control は、調整後のオーバーラップにおけるビデオトークン数と、接続されたサンプラーのシグマスケジュールの両方に応じてマスクを適応させます。これには、4ステップおよび8ステップの高速スケジュールも含まれます。動的に再ノイズ化されるのは破棄されるビデオの先頭部分だけで、シーム側の潜在表現はクリーンなまま維持されます。

音声の継続では、引き継がれたオーバーラップが最後の8つの音声潜在ティックまで正確に維持されます。その後、半コサインの Soft AV マスクによって、オーバーラップが新たに生成された音声へ段階的に移行します。アセンブリ時には、入力側の Soft AV オーバーラップが直前の音声末尾を置き換えるため、トランジションが最終サウンドトラックにも維持されます。

すべてのセグメントでは、サンプリングノードに表示された正確なシードが使用されます。従来の汎用ループヘルパーノードと PR #15923 への依存は削除されています。

長尺デジタルヒューマン向けの音声ロック

最も有用な追加機能の1つが、複数の生成ウィンドウにわたって変更されない長いサウンドトラックへの対応です。参照画像がキャラクターの同一性を維持する一方、ロックされたサウンドトラックは一度だけデコードされ、正確なサンプル位置で分割され、各セグメントの AV 潜在表現へ注入されます。

音声デノイズマスクはロックされたソースに対してゼロに設定されます。これにより、各セグメントで個別に再生成されるのではなく、元の信号がそのまま通過します。セグメントのアセンブリ後、最終出力では連続したサウンドトラックが復元されます。

自動フィッティングにより、よくある失敗要因が取り除かれます。

タイムラインがソース音声より短い場合、ソースは切り詰められます。
タイムラインがソースを超える場合、利用可能な音声はすべて保持され、超過分だけ無音でパディングされます。
ユーザーが MP3 メタデータ、H3 で有効な長さ、コーデックのプライミング遅延を手動で合わせる必要はありません。

これにより、セグメントごとに独立した音声を生成するよりも制御しやすい、長尺リップシンクやキャラクター歌唱のワークフローが実現します。バインドされたソース音声は動画編集に追従でき、個別に無効化することも可能です。

参照モード

各動画クリップには、次の3つの目的のいずれかを割り当てられます。

Fixed Guide

クリップは、生成されたフレーム位置でオーバーラップを固定します。ソースの動きや構図を強力な構造ガイドとして扱いたい場合に便利です。

Editable Reference

クリップは、元の被写体を強制的に固定せず、番号付きの H3 動画参照として渡されます。キャラクター置換や柔軟な参照駆動生成では、通常このモードが推奨されます。

Boundary Only

最初と最後のオーバーラップフレームだけをアンカーとして使用します。端点を安定させつつ、生成される内部を変更可能にしたい場合に便利です。

動画のサウンドトラックは個別に有効化または無効化できます。単独の画像ファイルや音声ファイルにも対応しており、UI から H3 入力まで、<Picture N>、<Video N>、<Audio N> の順序が安定して維持されます。

プロンプトの動作とプランニング

主要ワークフローでは、Global Prompt とセグメントごとのプロンプトの両方を使用できます。グローバルプロンプトが再利用されるのは、すべてのセグメントプロンプトが空の場合だけです。いずれかのセグメントにプロンプトを入力すると、すべてのセグメントにプロンプトが必要となり、グローバルプロンプトは無効になります。

このルールにより、一部のセグメントがグローバル指示を継承し、別のセグメントが暗黙的に上書きするという、見落としやすい曖昧さを防げます。長尺生成では特に重要です。各セグメントで、オーバーラップを新しい内容の導入前に冒頭ショットとして説明する必要があるためです。

このプロジェクトには、オプションの Omni プロンプトブリッジも含まれています。MiniMax H3 Omni Media-Bundle Prompt Bridge は、順序付けされた画像、動画、音声のバンドルを、インストール済みの Prompt Rewriter Omni バックエンドへ送り、rewritten_prompt だけを返します。この構成は、H3 のプロンプト展開前にマルチモーダル素材の理解を行いたい場合に便利です。使用には MiniMax-H3-Prompt-Rewriter-ComfyUI と、それに対応するモデル、量子化、VRAM 設定が必要です。

コアノード

推奨アーキテクチャでは、次の2つの主要ノードを使用します。

MiniMax H3 Material Planner — メディアを編集し、コンパクトな H3 プランと順序付けされた Omni メディアバンドルを生成します。
MiniMax H3 Finite Segment Sampling — プランを継続、マスキング、サンプリング、重複除去、アセンブリの処理へ展開します。

オプションの MiniMax H3 Omni Media-Bundle Prompt Bridge は、プロンプトの書き換えを処理します。MiniMax H3 Timeline Director (Compatibility) は従来の一体型ワークフローを維持し、以前に保存したワークフローにも対応します。

長尺動画の生成に必要な接続は次の1つだけです。

Material Planner Segment Plan -> Finite Segment Sampling

Plan Encoder は、展開された実行グラフと後方互換性のため、非表示の内部ノードとして登録されたままです。この分割アーキテクチャにより、ComfyUI の依存関係循環も回避できます。

インストール

リポジトリを ComfyUI のカスタムノードディレクトリへクローンします。

cd ComfyUI/custom_nodes
git clone https://github.com/Songssx/ComfyUI-MiniMaxH3-TimelineDirector.git

ComfyUI を再起動し、MiniMax H3 を検索します。

ソース UI は英語です。簡体字中国語は ComfyUI 公式のローカライズシステムを通じて提供され、ComfyUI の設定で選択した言語に従います。ロケールを変更した後は、フロントエンドを再読み込みまたは再起動してください。

要件

必要なものは次のとおりです。

ネイティブ MiniMax H3 ノードを備えた、最近の ComfyUI ビルド。
Guide を使用する場合の MiniMaxH3AddGuide。
MiniMax H3 Ref2VA モデル、CLIP、ビデオ VAE、音声 VAE。
Python 3.10 以降。
低解像度プレビュープロキシ用の ComfyUI の imageio-ffmpeg パッケージ。

追加の pip 依存関係は宣言されていません。このプラグインは、互換性のある ComfyUI インストールに通常含まれる PyAV、Pillow、NumPy、PyTorch、torchaudio、aiohttp、imageio-ffmpeg などのパッケージに依存します。

VRAM 保護のため、プレビュープロキシは最大480×270、12fpsで静かに生成できます。デコード時のリサイズでは、ノードに設定された幅と高さに合わせて出力もスケーリングされます。

実用的なワークフロー

All-in-One Full Timeline Director ワークフローを開きます。
幅、高さ、generation_seconds を設定します。
ツールバーから画像、動画、音声を追加するか、ファイルを UI にドロップします。
必要に応じてクリップを移動、トリミング、分割します。
生成する区間の上にシアン色の範囲をドラッグします。
各動画に Fixed Guide、Editable Reference、Boundary Only のいずれかのモードを割り当てます。
ペアリングされた動画音声を含めるかどうかを決めます。
グローバルプロンプトを追加するか、すべてのセグメントにプロンプトを入力します。
長尺生成では、オーバーラップする GEN ウィンドウを作成し、必要なシームオーバーラップを選択します。
Material Planner の Segment Plan を Finite Segment Sampling に直接接続します。

プラグインは、有効なフレームへのアライメント、Drift-Control、Soft AV、オーバーラップの除去、末尾のトリミング、最終的な AV アセンブリを処理します。参照の長さに基づいてメディアを自動的に分割したり、キャラクターの同一性を継続すべきかどうかを推測したりすることはありません。セグメント範囲、オーバーラップ、割り当ては、ユーザーが明示的に決める必要があります。

長尺動画の参照では、前セグメントの最後のショットを次のセグメントの冒頭 Guide として使用します。そのオーバーラップを新しい内容の前の Shot 1 として説明し、アセンブリ時に後続セグメントから繰り返された Guide 区間を削除します。

ソース

Songssx/ComfyUI-MiniMaxH3-TimelineDirector: ComfyUI MiniMax H3 Reference to Video 向け編集可能な参照メディアタイムラインディレクター