Helios : Génération vidéo en temps réel 14B à 19,5 FPS
Helios : Révolution de la génération de vidéos longues en temps réel
Le modèle 14B qui fonctionne plus vite que les modèles 1,3B
Helios de PKU-YuanGroup redéfinit la génération vidéo. Ce modèle à 14 milliards de paramètres génère des vidéos de haute qualité de longueur minute à 19,5 FPS sur un seul GPU H100 (~10 FPS sur Ascend NPU) - sans stratégies anti-dérive ni astuces d'accélération.
Progrès clés : - Pas d'auto-forçage, de banques d'erreurs ou d'échantillonnage de keyframes - Pas de KV-cache, de masquage causal ou de quantification - 4 modèles 14B×4 s'insèrent dans 80 Go de mémoire GPU - Tailles de lots d'entraînement à l'échelle de la diffusion d'images
Trois variantes de modèles disponibles
| Modèle | Qualité | Vitesse | Planificateur |
|---|---|---|---|
| Helios-Base | Meilleure | Standard | HeliosScheduler + CFG |
| Helios-Mid | Intermédiaire | Plus rapide | CFG-Zero* |
| Helios-Distilled | Bonne | La plus rapide | HeliosDMDScheduler |
Support écosystème Jour-0
✅ HuggingFace Diffusers (Pipelines standard + modulaires) ✅ SGLang-Diffusion (Natif + backend Diffusers) ✅ vLLM-Omni (Serving désagrégé complet) ✅ Ascend NPU (Matériel Huawei) ✅ Cache-DiT (Accélération cache complète) ✅ Gradio Demo (Compilation AOTI sur Spaces)
Exécution sur matériel grand public (~6 Go VRAM)
CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
--base_model_path "BestWishYsh/Helios-Distilled" \
--sample_type "t2v" \
--prompt "Un poisson tropical vibrant..." \
--num_frames 240 \
--enable_low_vram_mode \
--group_offloading_type "leaf_level"
Parallélisme de contexte multi-GPU
Supporte Ulysses Attention, Ring Attention, Unified Attention sur 4+ GPUs :
CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --nproc_per_node 4 infer_helios.py \
--enable_parallelism --cp_backend "ulysses" \
--base_model_path "BestWishYsh/Helios-Base"
Installation complète (5 minutes)
git clone --depth=1 https://github.com/PKU-YuanGroup/Helios.git
cd Helios
conda create -n helios python=3.11.2
conda activate helios
# Installer PyTorch + bash install.sh
huggingface-cli download BestWishYsh/Helios-Distilled
Scripts de démarrage rapide
cd scripts/inference
bash helios-distilled_t2v.sh # Texte-vidéo
bash helios-distilled_i2v.sh # Image-vidéo
bash helios-distilled_v2v.sh # Vidéo-vidéo
Entraînement à partir de zéro
Pipeline progressif en trois étapes avec support DDP ou DeepSpeed : 1. Étape-1 : Adaptation architecturale (Unified History Injection) 2. Étape-2 : Pyramid Unified Predictor Corrector 3. Étape-3 : Adversarial Hierarchical Distillation
bash scripts/training/train_ddp.sh
Benchmarks de performance
| Matériel | FPS | VRAM | Longueur vidéo |
|---|---|---|---|
| H100 | 19,5 | 24 Go | 60s+ |
| RTX 4090 | 15+ | 6 Go* | 30s+ |
| Ascend NPU | 10 | 24 Go | 60s+ |
*Avec group offloading
Pourquoi Helios compte
- Ingénierie réelle : Pas d'astuces de recherche, prêt pour la production
- Stack complet : Entraînement + inférence + déploiement
- Agnostique matériel : NVIDIA + Huawei + GPUs grand public
- Friendly pour les développeurs : Multiples backends d'inférence
- Évolutif : GPU unique à clusters multi-nœuds
Commencez dès aujourd'hui : GitHub | arXiv | HF Space
⭐ Étoiler le repo et rejoignez la révolution de la génération vidéo en temps réel !