AIBit-Descubre proyectos de código abierto AIBit-Descubre proyectos de código abierto

Modelos Core AI de Apple: Recetas de exportación, primitivas Python y runtime Swift para IA en el dispositivo

Explora el kit de herramientas de código abierto de Apple para exportar, crear y ejecutar modelos de IA en el dispositivo con Core AI, incluyendo primitivas Python, utilidades Swift y habilidades para agentes.

Apple ha lanzado como código abierto Core AI Models, un completo kit de herramientas diseñado para optimizar todo el ciclo de vida del desarrollo de IA en el dispositivo. Este repositorio proporciona recetas de exportación de modelos, primitivas Python reutilizables, un paquete de runtime Swift e incluso habilidades para agentes de asistentes de codificación. Si estás desarrollando funcionalidades de IA para macOS o iOS y deseas aprovechar Apple Silicon de manera eficiente, este es el kit de herramientas que estabas esperando.

¿Qué contiene el repositorio?

El repositorio está organizado en cuatro directorios principales, cada uno con un propósito específico en el flujo de trabajo de IA en el dispositivo:

  • models/: Un catálogo seleccionado de modelos populares de código abierto (de Hugging Face y otros) con recetas de exportación para convertirlos al formato .aimodel de Core AI.
  • python/: Primitivas y utilidades Python para crear modelos Core AI personalizados en PyTorch, además de scripts de exportación.
  • swift/: Un paquete Swift (coreai-models) que proporciona utilidades de runtime para integrar modelos Core AI en tus aplicaciones macOS e iOS.
  • skills/: Habilidades conectables para agentes de codificación (Claude Code, Codex CLI, Gemini CLI) que les ayudan a usar Core AI de manera efectiva.

Por qué esto es importante para la IA en el dispositivo

Ejecutar modelos de IA en el dispositivo ofrece ventajas significativas: menor latencia, capacidad sin conexión y mayor privacidad, ya que los datos nunca salen del dispositivo. Sin embargo, el camino desde un modelo PyTorch hasta un modelo desplegable en el dispositivo ha sido fragmentado. El framework Core AI de Apple proporciona el runtime, pero los desarrolladores necesitaban herramientas para cerrar la brecha. Este repositorio llena ese vacío con:

  • Recetas de exportación estandarizadas que manejan la conversión de modelos, incluyendo la agrupación de tokenizadores para LLMs y pipelines multimodelo para modelos de difusión.
  • Bloques de construcción Python que abstraen patrones comunes como la gestión de caché KV, reglas de precisión y manejo de capas MoE.
  • Utilidades de runtime Swift que simplifican la carga, configuración y ejecución de modelos en tu aplicación.

Primeros pasos: Exportar un modelo

Primero, instala uv si aún no lo has hecho:

brew install uv
# o
curl -LsSf https://astral.sh/uv/install.sh | sh

Clona el repositorio y lista los modelos disponibles:

git clone https://github.com/apple/coreai-models.git
cd coreai-models
uv run coreai.model.registry --list-models

Cada modelo en la carpeta models/ tiene su propio README.md con instrucciones específicas de exportación. Por ejemplo, exportar un LLM generalmente produce una carpeta de recursos que contiene uno o más archivos .aimodel más un tokenizador. El paquete Swift sabe cómo cargar estos recursos en tiempo de ejecución.

Crear modelos personalizados con primitivas Python

Si necesitas crear una arquitectura de modelo personalizada, el directorio python/ proporciona primitivas reutilizables basadas en PyTorch. Estas primitivas aplican las mejores prácticas para la ejecución en el dispositivo en plataformas Apple, incluyendo:

  • Diseño BC1S (batch, canal, 1, espacial) para patrones óptimos de acceso a memoria.
  • Compatibilidad de operaciones con las operaciones compatibles de Core AI.
  • Patrones de caché KV para generación autorregresiva eficiente.
  • Reglas de precisión (por ejemplo, FP16, cuantización INT8) para equilibrar rendimiento y precisión.
  • Soporte MoE (Mixture of Experts) con patrones de cómputo disperso.

La librería coreai-torch maneja la exportación real, mientras que coreai-opt proporciona herramientas de exploración de compresión (cuantización, paletización) para reducir el tamaño del modelo sin pérdida catastrófica de calidad.

Integrar modelos en tu aplicación con Swift

El paquete Swift (coreai-models) es la contraparte de runtime. Proporciona:

  • Utilidades de carga de modelos que manejan el formato .aimodel y los paquetes de recursos.
  • Ejecutores de inferencia para diferentes tipos de modelos (LLMs, modelos de difusión, etc.).
  • Instrumentación de rendimiento para monitorear la latencia y la salida de logits (como se ve en commits recientes que agregan soporte VLM).

Requisitos: macOS e iOS 27.0+, Xcode 27.0+. El paquete está disponible a través de Swift Package Manager.

Habilidades para agentes: Potencia tu flujo de trabajo de codificación

Uno de los aspectos más innovadores de este repositorio es la inclusión de habilidades para agentes. Estos son plugins que enseñan a los asistentes de codificación (como Claude Code, Codex CLI o Gemini CLI) cómo trabajar con Core AI. Hay tres habilidades disponibles:

  1. working-with-coreai: Flujo de trabajo completo para desplegar modelos PyTorch en Apple Silicon, cubriendo exportación con coreai-torch e integración de runtime.
  2. model-authoring: Reglas empíricas para crear modelos PyTorch para ejecución en el dispositivo, cubriendo diseño, compatibilidad de operaciones, caché KV, precisión, MoE y errores comunes.
  3. model-compression-exploration: Explorar sistemáticamente configuraciones de compresión de pesos (cuantización y paletización) usando coreai-opt.

Para instalar en Claude Code:

/plugin marketplace add [email protected]:apple/coreai-models.git
/plugin install coreai-skills@coreai-models

Para Codex CLI:

codex plugin marketplace add https://github.com/apple/coreai-models
codex
# Luego usa /plugins en el navegador interactivo para instalar coreai-skills

Para Gemini CLI:

gemini extensions install /path/to/coreai-models/skills

Una vez instaladas, las habilidades se activan automáticamente según el contexto de tu tarea, o puedes invocarlas explícitamente.

Limitaciones actuales y participación de la comunidad

Apple no acepta contribuciones de código en este momento. El proyecto se centra en mantener una galería seleccionada y bien probada. Sin embargo, los Issues de GitHub están abiertos para:

  • Reportes de errores para scripts Python o utilidades Swift.
  • Solicitudes de modelos para nuevos modelos o mejoras en el flujo de trabajo.

Esta es una decisión de alcance deliberada para garantizar calidad y estabilidad.

Conclusión

El repositorio Core AI Models de Apple es un paso significativo hacia hacer que el desarrollo de IA en el dispositivo sea accesible y eficiente. Al proporcionar recetas de exportación, primitivas Python, un runtime Swift e incluso habilidades para agentes, Apple ha creado un ecosistema cohesivo que reduce la fricción desde la selección del modelo hasta la integración en la aplicación. Ya seas un desarrollador móvil que busca agregar capacidades de LLM en el dispositivo o un investigador que explora técnicas de compresión, este kit de herramientas merece tu atención.

Visita el repositorio en GitHub y comienza a experimentar con IA en el dispositivo hoy mismo.

Fuente

apple/coreai-models: Recetas de exportación de modelos, primitivas Python y utilidades de runtime Swift para IA en el dispositivo