AIBit-探索开源项目 AIBit-探索开源项目

Apple 核心 AI 模型：用于设备端 AI 的导出配方、Python 原语和 Swift 运行时

探索 Apple 的开源工具包，用于使用核心 AI 导出、编写和运行设备端 AI 模型，包括 Python 原语、Swift 实用程序和代理技能。

Apple 已开源 Core AI Models，这是一个全面的工具包，旨在简化设备端 AI 开发的整个生命周期。该仓库提供了模型导出配方、可复用的 Python 原语、Swift 运行时包，甚至还有用于编码助手的代理技能。如果你正在为 macOS 或 iOS 构建 AI 功能，并希望高效利用 Apple Silicon，这就是你一直在等待的工具包。

仓库内容

该仓库分为四个主要目录，每个目录在设备端 AI 工作流中都有不同的用途：

  • models/：精选的热门开源模型目录（来自 Hugging Face 等），包含将其转换为 Core AI 的 .aimodel 格式的导出配方。
  • python/：用于在 PyTorch 中编写自定义 Core AI 模型的 Python 原语和实用程序，以及导出脚本。
  • swift/：一个 Swift 包（coreai-models），提供用于将 Core AI 模型集成到 macOS 和 iOS 应用中的运行时实用程序。
  • skills/：用于编码代理（Claude Code、Codex CLI、Gemini CLI）的可插拔技能，帮助它们有效使用 Core AI。

为什么这对设备端 AI 很重要

在设备端运行 AI 模型具有显著优势：更低的延迟、离线能力以及增强的隐私性，因为数据永远不会离开设备。然而，从 PyTorch 模型到可部署的设备端模型的道路一直很分散。Apple 的 Core AI 框架提供了运行时，但开发人员需要工具来弥合这一差距。该仓库通过以下方式填补了这一空白：

  • 标准化的导出配方，处理模型转换，包括 LLM 的分词器捆绑和扩散模型的多模型流水线。
  • Python 构建块，抽象出常见模式，如 KV 缓存管理、精度规则和 MoE 层处理。
  • Swift 运行时实用程序，简化在应用中加载、配置和运行模型的过程。

入门：导出模型

首先，安装 uv（如果尚未安装）：

brew install uv
# 或
curl -LsSf https://astral.sh/uv/install.sh | sh

克隆仓库并列出可用模型：

git clone https://github.com/apple/coreai-models.git
cd coreai-models
uv run coreai.model.registry --list-models

models/ 文件夹中的每个模型都有自己的 README.md，其中包含特定的导出说明。例如，导出 LLM 通常会生成一个资源文件夹，其中包含一个或多个 .aimodel 文件以及一个分词器。然后，Swift 包知道如何在运行时加载这些资源。

使用 Python 原语编写自定义模型

如果需要创建自定义模型架构，python/ 目录提供了基于 PyTorch 构建的可复用原语。这些原语强制执行在 Apple 平台上进行设备端执行的最佳实践，包括：

  • BC1S 布局（批处理、通道、1、空间），以实现最佳内存访问模式。
  • 操作兼容性，与 Core AI 支持的操作兼容。
  • KV 缓存模式，用于高效的自回归生成。
  • 精度规则（例如，FP16、INT8 量化），以平衡性能和准确性。
  • MoE（混合专家）支持，具有稀疏计算模式。

coreai-torch 库处理实际的导出，而 coreai-opt 提供压缩探索工具（量化、调色板化），以在不造成灾难性质量损失的情况下缩小模型大小。

使用 Swift 将模型集成到应用中

Swift 包（coreai-models）是运行时对应部分。它提供：

  • 模型加载实用程序，处理 .aimodel 格式和资源包。
  • 不同模型类型（LLM、扩散模型等）的推理运行器。
  • 性能检测，用于监控延迟和 logits 输出（如最近添加 VLM 支持的提交所示）。

要求：macOS 和 iOS 27.0+、Xcode 27.0+。该包可通过 Swift Package Manager 获取。

代理技能：提升你的编码工作流

该仓库最具创新性的方面之一是包含代理技能。这些是教编码助手（如 Claude Code、Codex CLI 或 Gemini CLI）如何使用 Core AI 的插件。提供三种技能：

  1. working-with-coreai：在 Apple Silicon 上部署 PyTorch 模型的端到端工作流，涵盖使用 coreai-torch 导出和运行时集成。
  2. model-authoring：用于在设备端执行编写 PyTorch 模型的经验规则，涵盖布局、操作兼容性、KV 缓存、精度、MoE 和常见陷阱。
  3. model-compression-exploration：使用 coreai-opt 系统地探索权重压缩配置（量化和调色板化）。

要安装到 Claude Code：

/plugin marketplace add [email protected]:apple/coreai-models.git
/plugin install coreai-skills@coreai-models

对于 Codex CLI：

codex plugin marketplace add https://github.com/apple/coreai-models
codex
# 然后在交互式浏览器中使用 /plugins 安装 coreai-skills

对于 Gemini CLI：

gemini extensions install /path/to/coreai-models/skills

安装后，技能会根据任务上下文自动激活，或者你可以显式调用它们。

当前限制和社区参与

Apple 目前不接受代码贡献。该项目专注于维护一个精心策划、经过充分测试的图库。但是，GitHub Issues 对以下内容开放：

  • Python 脚本或 Swift 实用程序的错误报告。
  • 新模型或工作流改进的模型请求。

这是一个经过深思熟虑的范围决策，以确保质量和稳定性。

结论

Apple 的 Core AI Models 仓库是朝着使设备端 AI 开发变得可访问和高效迈出的重要一步。通过提供导出配方、Python 原语、Swift 运行时甚至代理技能，Apple 创建了一个有凝聚力的生态系统，减少了从模型选择到应用集成的摩擦。无论你是希望添加设备端 LLM 功能的移动开发人员，还是探索压缩技术的研究人员，这个工具包都值得你关注。

查看 GitHub 上的仓库，立即开始尝试设备端 AI。

来源

apple/coreai-models：用于设备端 AI 的模型导出配方、Python 原语和 Swift 运行时实用程序