标记为: MLX
Content related to MLX
oMLX：Mac 菜单栏 LLM 服务器，带 SSD 缓存
March 10, 2026
发现 oMLX，Apple Silicon Mac 的终极本地 LLM 服务器。从菜单栏运行 LLM、VLM 和嵌入，支持连续批处理、分层 KV 缓存（RAM + SSD）和多模型服务。功能包括管理仪表板、OpenAI API 兼容性、Claude 代码优化，以及一键从 Hugging Face 下载模型。通过 DMG、Homebrew 或源代码安装——完美适合想要生产级本地 AI 而无需云成本的开发者。
一周内打造你自己的大语言模型服务器
September 12, 2025
探索大型语言模型（LLM）的世界，尽在 Tiny LLM。这是一门专为系统工程师设计的实践性开源课程。您将学习如何利用 Apple Silicon 上的 MLX 从零开始构建和优化 LLM 服务基础架构。为期一周的学习之旅将涵盖从基础矩阵运算到高级 C++/Metal 内核以及高吞吐量请求批处理等所有内容。无论您是想深入了解 LLM 内部机制，还是希望部署自己的 LLM，Tiny LLM 都将提供清晰的指导和社区支持，助您轻松掌握 LLM 服务。