Les modèles Core AI d'Apple : recettes d'exportation, primitives Python et runtime Swift pour l'IA sur appareil

Apple a open-sourcé Core AI Models, une boîte à outils complète conçue pour rationaliser l'ensemble du cycle de vie du développement de l'IA sur appareil. Ce dépôt fournit des recettes d'exportation de modèles, des primitives Python réutilisables, un package runtime Swift, et même des compétences d'agent pour les assistants de codage. Si vous développez des fonctionnalités d'IA pour macOS ou iOS et souhaitez tirer parti d'Apple Silicon efficacement, c'est la boîte à outils que vous attendiez.

Contenu du dépôt

Le dépôt est organisé en quatre répertoires principaux, chacun servant un objectif distinct dans le flux de travail de l'IA sur appareil :

models/ : Un catalogue organisé de modèles open source populaires (de Hugging Face et ailleurs) avec des recettes d'exportation pour les convertir au format .aimodel de Core AI.
python/ : Primitives Python et utilitaires pour créer des modèles Core AI personnalisés dans PyTorch, ainsi que des scripts d'exportation.
swift/ : Un package Swift (coreai-models) qui fournit des utilitaires runtime pour intégrer les modèles Core AI dans vos applications macOS et iOS.
skills/ : Compétences enfichables pour les agents de codage (Claude Code, Codex CLI, Gemini CLI) qui les aident à utiliser Core AI efficacement.

Pourquoi c'est important pour l'IA sur appareil

Exécuter des modèles d'IA sur appareil offre des avantages significatifs : latence réduite, capacité hors ligne et confidentialité renforcée car les données ne quittent jamais l'appareil. Cependant, le chemin d'un modèle PyTorch à un modèle déployable sur appareil a été fragmenté. Le framework Core AI d'Apple fournit le runtime, mais les développeurs avaient besoin d'outils pour combler le fossé. Ce dépôt comble ce fossé avec :

Des recettes d'exportation standardisées qui gèrent la conversion des modèles, y compris le regroupement de tokenizers pour les LLM et les pipelines multi-modèles pour les modèles de diffusion.
Des blocs de construction Python qui abstraient les motifs courants comme la gestion du cache KV, les règles de précision et la gestion des couches MoE.
Des utilitaires runtime Swift qui simplifient le chargement, la configuration et l'exécution des modèles dans votre application.

Pour commencer : Exporter un modèle

Tout d'abord, installez uv si ce n'est pas déjà fait :

brew install uv
# ou
curl -LsSf https://astral.sh/uv/install.sh | sh

Clonez le dépôt et listez les modèles disponibles :

git clone https://github.com/apple/coreai-models.git
cd coreai-models
uv run coreai.model.registry --list-models

Chaque modèle dans le dossier models/ a son propre README.md avec des instructions d'exportation spécifiques. Par exemple, exporter un LLM produit généralement un dossier de ressources contenant un ou plusieurs fichiers .aimodel plus un tokenizer. Le package Swift sait ensuite comment charger ces ressources à l'exécution.

Créer des modèles personnalisés avec des primitives Python

Si vous devez créer une architecture de modèle personnalisée, le répertoire python/ fournit des primitives réutilisables basées sur PyTorch. Ces primitives imposent les meilleures pratiques pour l'exécution sur appareil sur les plateformes Apple, notamment :

Disposition BC1S (batch, canal, 1, spatial) pour des motifs d'accès mémoire optimaux.
Compatibilité des opérations avec les opérations prises en charge par Core AI.
Motifs de cache KV pour une génération autorégressive efficace.
Règles de précision (par exemple, FP16, quantification INT8) pour équilibrer performance et précision.
Support MoE (Mixture of Experts) avec des motifs de calcul épars.

La bibliothèque coreai-torch gère l'exportation proprement dite, tandis que coreai-opt fournit des outils d'exploration de compression (quantification, palettisation) pour réduire la taille du modèle sans perte catastrophique de qualité.

Intégrer des modèles dans votre application avec Swift

Le package Swift (coreai-models) est le pendant runtime. Il fournit :

Utilitaires de chargement de modèles qui gèrent le format .aimodel et les bundles de ressources.
Exécuteurs d'inférence pour différents types de modèles (LLM, modèles de diffusion, etc.).
Instrumentation de performance pour surveiller la latence et la sortie des logits (comme vu dans des commits récents ajoutant le support VLM).

Prérequis : macOS et iOS 27.0+, Xcode 27.0+. Le package est disponible via Swift Package Manager.

Compétences d'agent : Boostez votre flux de travail de codage

L'un des aspects les plus innovants de ce dépôt est l'inclusion de compétences d'agent. Ce sont des plugins qui apprennent aux assistants de codage (comme Claude Code, Codex CLI ou Gemini CLI) comment travailler avec Core AI. Trois compétences sont disponibles :

working-with-coreai : Flux de travail de bout en bout pour déployer des modèles PyTorch sur Apple Silicon, couvrant l'exportation avec coreai-torch et l'intégration runtime.
model-authoring : Règles empiriques pour créer des modèles PyTorch pour l'exécution sur appareil, couvrant la disposition, la compatibilité des opérations, le cache KV, la précision, MoE et les pièges courants.
model-compression-exploration : Explorer systématiquement les configurations de compression des poids (quantification et palettisation) en utilisant coreai-opt.

Pour installer pour Claude Code :

/plugin marketplace add [email protected]:apple/coreai-models.git
/plugin install coreai-skills@coreai-models

Pour Codex CLI :

codex plugin marketplace add https://github.com/apple/coreai-models
codex
# Utilisez ensuite /plugins dans le navigateur interactif pour installer coreai-skills

Pour Gemini CLI :

gemini extensions install /path/to/coreai-models/skills

Une fois installées, les compétences s'activent automatiquement en fonction du contexte de votre tâche, ou vous pouvez les invoquer explicitement.

Limitations actuelles et engagement communautaire

Apple n'accepte pas de contributions de code pour le moment. Le projet se concentre sur le maintien d'une galerie organisée et bien testée. Cependant, les issues GitHub sont ouvertes pour :

Rapports de bugs pour les scripts Python ou les utilitaires Swift.
Demandes de modèles pour de nouveaux modèles ou des améliorations de flux de travail.

C'est une décision de périmètre délibérée pour garantir la qualité et la stabilité.

Conclusion

Le dépôt Core AI Models d'Apple est une étape significative vers la démocratisation du développement de l'IA sur appareil. En fournissant des recettes d'exportation, des primitives Python, un runtime Swift et même des compétences d'agent, Apple a créé un écosystème cohérent qui réduit les frictions, de la sélection du modèle à l'intégration dans l'application. Que vous soyez un développeur mobile cherchant à ajouter des capacités LLM sur appareil ou un chercheur explorant des techniques de compression, cette boîte à outils mérite votre attention.

Consultez le dépôt sur GitHub et commencez à expérimenter avec l'IA sur appareil dès aujourd'hui.

Source

apple/coreai-models : Recettes d'exportation de modèles, primitives Python et utilitaires runtime Swift pour l'IA sur appareil