Entradas etiquetadas con: LLM Server

oMLX: Servidor LLM en la barra de menús de Mac con caché SSD

Descubre oMLX, el servidor local de LLM definitivo para Macs con Apple Silicon. Ejecuta LLMs, VLMs y embeddings desde tu barra de menús con batching continuo, caché KV escalonado (RAM + SSD) y servicio multi-modelo. Incluye panel de administración, compatibilidad con API de OpenAI, optimización para código Claude y descargas de modelos de un clic desde Hugging Face. Instala vía DMG, Homebrew o fuente – perfecto para desarrolladores que quieren IA local de grado de producción sin costos en la nube.