Helios: Generación de Video en Tiempo Real de 14B a 19,5 FPS
Helios: Revolución en la Generación de Video Largo en Tiempo Real
El Modelo de 14B que Supera en Velocidad a Modelos de 1,3B
Helios de PKU-YuanGroup redefine la generación de video. Este modelo de 14B parámetros genera videos de alta calidad de escala de minutos a 19,5 FPS en una sola GPU H100 (~10 FPS en Ascend NPU) - sin estrategias anti-deriva ni trucos de aceleración.
Avances clave: - Sin auto-forzado, bancos de errores ni muestreo de fotogramas clave - Sin caché KV, enmascaramiento causal ni cuantización - Admite 4×14B modelos en memoria GPU de 80GB - Tamaños de lote de entrenamiento a escala de difusión de imágenes
Tres Variantes de Modelo Disponibles
| Modelo | Calidad | Velocidad | Programador |
|---|---|---|---|
| Helios-Base | Mejor | Estándar | HeliosScheduler + CFG |
| Helios-Mid | Intermedia | Más rápida | CFG-Zero* |
| Helios-Distilled | Buena | Más rápida | HeliosDMDScheduler |
Soporte Ecosistema Día-0
✅ HuggingFace Diffusers (Pipelines estándar + modulares) ✅ SGLang-Diffusion (Nativo + backend Diffusers) ✅ vLLM-Omni (Servidor desagregado completo) ✅ Ascend NPU (Hardware Huawei) ✅ Cache-DiT (Aceleración de caché completa) ✅ Gradio Demo (Compilación AOTI en Spaces)
Ejecutar en Hardware de Consumo (~6GB VRAM)
CUDA_VISIBLE_DEVICES=0 python infer_helios.py \
--base_model_path "BestWishYsh/Helios-Distilled" \
--sample_type "t2v" \
--prompt "A vibrant tropical fish..." \
--num_frames 240 \
--enable_low_vram_mode \
--group_offloading_type "leaf_level"
Paralelismo de Contexto Multi-GPU
Soporta Ulysses Attention, Ring Attention, Unified Attention en 4+ GPUs:
CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --nproc_per_node 4 infer_helios.py \
--enable_parallelism --cp_backend "ulysses" \
--base_model_path "BestWishYsh/Helios-Base"
Instalación Completa (5 minutos)
git clone --depth=1 https://github.com/PKU-YuanGroup/Helios.git
cd Helios
conda create -n helios python=3.11.2
conda activate helios
# Instalar PyTorch + bash install.sh
huggingface-cli download BestWishYsh/Helios-Distilled
Scripts de Inicio Rápido
cd scripts/inference
bash helios-distilled_t2v.sh # Texto a Video
bash helios-distilled_i2v.sh # Imagen a Video
bash helios-distilled_v2v.sh # Video a Video
Entrenamiento desde Cero
Pipeline progresivo de tres etapas con soporte DDP o DeepSpeed: 1. Etapa-1: Adaptación arquitectónica (Unified History Injection) 2. Etapa-2: Pyramid Unified Predictor Corrector 3. Etapa-3: Adversarial Hierarchical Distillation
bash scripts/training/train_ddp.sh
Benchmarks de Rendimiento
| Hardware | FPS | VRAM | Duración Video |
|---|---|---|---|
| H100 | 19,5 | 24GB | 60s+ |
| RTX 4090 | 15+ | 6GB* | 30s+ |
| Ascend NPU | 10 | 24GB | 60s+ |
*Con offloading de grupo
Por Qué Importa Helios
- Ingeniería real: Sin trucos de investigación, listo para producción
- Pila completa: Entrenamiento + inferencia + despliegue
- Agnóstico de hardware: NVIDIA + Huawei + GPUs de consumo
- Amigable para desarrolladores: Múltiples backends de inferencia
- Escalable: GPU única a clústeres multi-nodo
Comienza hoy: GitHub | arXiv | HF Space
⭐ Dale estrella al repositorio y únete a la revolución de la generación de video en tiempo real!