Articles étiquetés avec: Systems Engineering

Créez votre propre serveur LLM en une semaine

Plongez dans le monde des grands modèles linguistiques avec Tiny LLM, un cours pratique et open-source conçu pour les ingénieurs systèmes. Apprenez à construire et optimiser l'infrastructure de service des LLM à partir de zéro en utilisant MLX sur Apple Silicon. Ce parcours d'une semaine couvre tout, des opérations matricielles fondamentales aux noyaux C++/Metal avancés et au batching de requêtes pour un débit élevé. Que vous soyez curieux des rouages internes des LLM ou que vous cherchiez à déployer les vôtres, Tiny LLM offre des conseils clairs et un soutien communautaire pour démystifier le service des LLM.