Articles étiquetés avec: BitNet

Microsoft dévoile BitNet : l'inférence efficace des LLM 1-bit

Microsoft présente BitNet.cpp, le framework d'inférence officiel pour les grands modèles de langage (LLM) à 1 bit, tels que BitNet b1.58. Ce projet révolutionnaire propose des noyaux optimisés pour une inférence rapide et sans perte, aussi bien sur CPU que sur GPU, offrant des accélérations significatives et des réductions de consommation d'énergie. BitNet.cpp permet d'exécuter de grands LLM, comme un modèle BitNet b1.58 de 100 milliards de paramètres, sur un seul CPU à des vitesses de lecture humaine. Cette innovation marque une étape cruciale vers le déploiement de puissants modèles d'IA sur des appareils locaux avec une efficacité améliorée, ouvrant la voie à une accessibilité plus large et à des exigences de calcul réduites dans le paysage de l'IA. Elle représente une avancée majeure dans la mise en œuvre pratique de l'IA.