Articles étiquetés avec: MLX
Content related to MLX
oMLX : Serveur LLM Barre de Menu Mac avec Cache SSD
Découvrez oMLX, le serveur LLM local ultime pour Macs Apple Silicon. Exécutez LLM, VLM et embeddings depuis votre barre de menu avec batching continu, cache KV à niveaux (RAM + SSD) et serving multi-modèles. Fonctionnalités : tableau de bord admin, compatibilité OpenAI API, optimisation Claude Code et téléchargements de modèles Hugging Face en un clic. Installez via DMG, Homebrew ou source – parfait pour les développeurs voulant une IA locale de niveau production sans coûts cloud.
Créez votre propre serveur LLM en une semaine
Plongez dans le monde des grands modèles linguistiques avec Tiny LLM, un cours pratique et open-source conçu pour les ingénieurs systèmes. Apprenez à construire et optimiser l'infrastructure de service des LLM à partir de zéro en utilisant MLX sur Apple Silicon. Ce parcours d'une semaine couvre tout, des opérations matricielles fondamentales aux noyaux C++/Metal avancés et au batching de requêtes pour un débit élevé. Que vous soyez curieux des rouages internes des LLM ou que vous cherchiez à déployer les vôtres, Tiny LLM offre des conseils clairs et un soutien communautaire pour démystifier le service des LLM.