Publications marquées avec: Quantization

ComfyUI‑GGUF : Exécuter des modèles à faible nombre de bits sur votre GPU

Apprenez à exploiter ComfyUI‑GGUF, une extension open-source qui ajoute le support de quantification GGUF au workflow populaire ComfyUI. En chargeant des modèles quantifiés dans le format léger GGUF, vous pouvez exécuter des architectures de diffusion récentes telles que Flux 1‑Dev ou Stable Diffusion 3.5 sur des GPU modestes tout en réduisant considérablement l’utilisation de VRAM. Cet article décrit les prérequis d’installation, comment cloner le dépôt dans votre dossier custom_nodes, installer la dépendance gguf et remplacer le chargeur de modèle standard par le chargeur Unet GGUF. Il aborde également les modèles pré-quantifiés, le support expérimental de LoRA et les spécificités propres à chaque plateforme. À la fin, vous serez prêt à exécuter des modèles d'IA de pointe à une fraction du coût.