标记为: BitNet
Content related to BitNet
微软发布 BitNet：高效的 1 比特大模型推理
October 08, 2025
微软推出了 BitNet.cpp，这是针对 BitNet b1.58 等 1 比特大型语言模型（LLMs）的官方推理框架。这个突破性项目提供了优化的内核，可在 CPU 和 GPU 上实现快速、无损的推理，同时显著提升速度并降低能耗。BitNet.cpp 使得大型 LLM（例如 100 亿参数的 BitNet b1.58 模型）能够在单个 CPU 上以人类可读的速度运行。这项创新标志着在本地设备上部署强大 AI 模型，同时提高效率方面迈出了关键一步，为未来 AI 领域更广泛的普及和更低的计算需求铺平了道路。这代表了 AI 实际应用领域的一项重大进展。