Entradas etiquetadas con: BitNet

Microsoft presenta BitNet: Inferencia eficiente de LLMs de 1 bit

Microsoft presenta BitNet.cpp, el framework oficial de inferencia para Modelos de Lenguaje Grandes (LLM) de 1 bit, como BitNet b1.58. Este innovador proyecto ofrece "kernels" optimizados para una inferencia rápida y sin pérdidas tanto en CPU como en GPU, presumiendo de una significativa aceleración y reducción del consumo energético. BitNet.cpp permite ejecutar LLM de gran tamaño, como un modelo BitNet b1.58 de 100 mil millones de parámetros, en una única CPU a velocidades que permiten la lectura humana. Esta innovación marca un paso crucial hacia el despliegue de potentes modelos de IA en dispositivos locales con una eficiencia mejorada, allanando el camino para una mayor accesibilidad y una menor demanda computacional en el panorama de la IA. Representa un avance importante en la implementación práctica de la inteligencia artificial.