标记为: Apple Silicon
Content related to Apple Silicon
oMLX：Mac 菜单栏 LLM 服务器，带 SSD 缓存
发现 oMLX，Apple Silicon Mac 的终极本地 LLM 服务器。从菜单栏运行 LLM、VLM 和嵌入，支持连续批处理、分层 KV 缓存（RAM + SSD）和多模型服务。功能包括管理仪表板、OpenAI API 兼容性、Claude 代码优化，以及一键从 Hugging Face 下载模型。通过 DMG、Homebrew 或源代码安装——完美适合想要生产级本地 AI 而无需云成本的开发者。
在 Apple Neural Engine 上训练 Transformer - ANE GitHub
发现 ANE Training：一个开创性的开源项目，通过逆向工程 Apple Neural Engine，直接在 M4 硬件上运行完整 Transformer 训练（前向 + 反向传播）。实现 9.3ms/步和 1.78 TFLOPS 持续性能，使用纯 ANE 计算——无 Metal，无 GPU。包含详细基准测试、MIL 程序生成、IOSurface 优化和通道优先布局。完美适用于推动硬件边界的 Apple Silicon ML 研究人员。
Apple 的容器化：macOS 上的 Linux 容器
探索 Apple 的开源 Swift 工具包“Containerization”，它让 Linux 容器能够在 macOS 上无缝运行。这个项目利用了 Apple 芯片上的 Virtualization.framework，提供了高效的容器管理、OCI 镜像处理以及轻量级虚拟机功能。了解开发者如何利用这个工具来简化工作流程，与远程注册表交互，甚至通过 Rosetta 2 运行 x86_64 容器。深入了解这个专为现代开发环境设计的创新解决方案的特性、要求和构建过程，它能实现亚秒级启动和灵活的内核配置。