Crea tu propio servidor de LLM en una semana
Domina el Servicio de LLM en Solo Una Semana con Tiny LLM
Para los ingenieros de sistemas ansiosos por desentrañar las complejidades de los Modelos de Lenguaje Grandes (LLM), un proyecto innovador de código abierto, 'Tiny LLM', ofrece una experiencia de aprendizaje intensiva y única. Diseñado para desmitificar el servicio de LLM, este curso práctico guía a los participantes a través de la construcción y optimización de un sistema de inferencia de LLM en una sola semana.
¿Qué es Tiny LLM?
Tiny LLM es una ambiciosa iniciativa destinada a hacer que los aspectos internos de los LLM sean accesibles para los ingenieros de sistemas. Reconociendo la complejidad de las bases de código de servicio de LLM altamente optimizadas y de bajo nivel, los creadores han desarrollado un curso que comienza con APIs fundamentales de manipulación de matrices. Este enfoque permite a los alumnos comprender los conceptos centrales de carga de parámetros de modelos y la realización de las operaciones matemáticas esenciales para la generación de texto, similar al proyecto 'needle' del curso de Sistemas de Aprendizaje Profundo de la CMU.
Estructura del Curso y Requisitos Previos
El curso está estructurado en tres semanas, centrándose en el servicio y la optimización del modelo Qwen2-7B-Instruct.
- Semana 1: Construye un servidor LLM funcional utilizando Python puro y APIs de manipulación de matrices.
- Semana 2: Mejora el rendimiento implementando kernels personalizados en C++/Metal.
- Semana 3: Optimiza aún más el rendimiento explorando el batching de solicitudes.
Ideal para personas con una comprensión fundamental del aprendizaje profundo y familiaridad con PyTorch, el curso utiliza MLX, una biblioteca de arrays y aprendizaje automático optimizada para Apple Silicon. Si bien existe compatibilidad teórica con PyTorch o NumPy, MLX es el entorno principal probado, lo que garantiza una curva de aprendizaje fluida.
Un Enfoque de Guía Práctica
Tiny LLM se presenta como una guía práctica en lugar de un libro de texto tradicional. Reúne y unifica recursos en línea útiles, proporcionando listas de tareas claras y consejos esenciales. Este método se centra en la aplicación práctica, dejando las explicaciones detalladas de conceptos a los vastos recursos disponibles en línea, al tiempo que garantiza la coherencia en la terminología y la notación de dimensiones de tensores para una integración de código sin problemas.
Creado por Expertos, para la Comunidad
Creado por Chi (Ingeniero de Software de Sistemas en Neon/Databricks) y Connor (Ingeniero de Software en PingCAP), Tiny LLM surge del deseo de comprender profundamente la inferencia de LLM. Su objetivo es proporcionar a la comunidad experiencia práctica y directa en la construcción de sistemas de servicio de LLM de alto rendimiento.
Empieza
¿Listo para embarcarte en este viaje educativo? Comienza configurando tu entorno siguiendo las instrucciones proporcionadas y sumérgete en la construcción de tu propio Tiny LLM. El proyecto fomenta la participación y los comentarios de la comunidad, dando la bienvenida a las contribuciones a través de GitHub y a las discusiones en su servidor de Discord. Únete a la creciente comunidad de estudiantes y desarrolladores que dan forma al futuro del despliegue de LLM.