Entradas etiquetadas con: MLX
Content related to MLX
oMLX: Servidor LLM en la barra de menús de Mac con caché SSD
Descubre oMLX, el servidor local de LLM definitivo para Macs con Apple Silicon. Ejecuta LLMs, VLMs y embeddings desde tu barra de menús con batching continuo, caché KV escalonado (RAM + SSD) y servicio multi-modelo. Incluye panel de administración, compatibilidad con API de OpenAI, optimización para código Claude y descargas de modelos de un clic desde Hugging Face. Instala vía DMG, Homebrew o fuente – perfecto para desarrolladores que quieren IA local de grado de producción sin costos en la nube.
Crea tu propio servidor de LLM en una semana
Sumérgete en el mundo de los Modelos de Lenguaje Grande (LLM) con Tiny LLM, un curso práctico de código abierto diseñado para ingenieros de sistemas. Aprende a construir y optimizar la infraestructura de servicio de LLM desde cero utilizando MLX en Apple Silicon. Este recorrido de una semana cubre todo, desde operaciones matriciales fundamentales hasta kernels avanzados de C++/Metal y lotes de solicitudes para un alto rendimiento. Ya sea que tengas curiosidad sobre el funcionamiento interno de los LLM o tu objetivo sea desplegar los tuyos, Tiny LLM ofrece una guía clara y soporte comunitario para desmitificar el servicio de LLM.