Créez Votre Propre ChatGPT : Nanochat - Le LLM à 100 $

Créez votre propre ChatGPT : Nanochat – Le projet LLM à 100 $

Andrej Karpathy, une figure éminente de la communauté de l'IA, a dévoilé Nanochat, un projet open source ambitieux conçu pour rendre les complexités du développement de grands modèles linguistiques (LLM) accessibles à tous. Surnommé "le meilleur ChatGPT que l'on puisse acheter pour 100 $", Nanochat est une implémentation complète d'un LLM de type ChatGPT, regroupée dans une base de code unique, propre, minimale et hautement modifiable.

Qu'est-ce que Nanochat ?

Nanochat va au-delà de la simple pré-formation ; il offre un pipeline complet pour le développement de LLM, englobant la tokenisation, la pré-formation, l'affinage, l'évaluation, l'inférence et même un service web via une interface utilisateur simple. Cela signifie que vous pouvez entraîner et interagir avec votre propre LLM, tout comme vous le feriez avec ChatGPT. Le projet est spécifiquement conçu pour fonctionner efficacement, principalement sur un seul nœud 8XH100 à l'aide de scripts fournis comme speedrun.sh.

Le défi des 100 $ : Entraîner votre propre LLM

L'éthos central de Nanochat est l'accessibilité et la rentabilité. Le script speedrun.sh démontre comment entraîner un LLM fonctionnel pour environ 100 $. Cela implique environ 4 heures d'entraînement sur un nœud 8XH100, produisant un modèle de 1,9 milliard de paramètres entraîné sur 38 milliards de jetons. Bien que ces "micro-modèles" ne rivalisent pas avec les LLM de pointe comme GPT-5 en termes de performances (souvent décrits comme discutant avec un enfant de maternelle en raison de leur naïveté et de leur tendance à l'hallucination), ils offrent une opportunité inégalée d'apprentissage pratique et de personnalisation.

Karpathy souligne que Nanochat est entièrement vôtre – configurable, ajustable et modifiable du début à la fin. Cela en fait une plateforme idéale pour les chercheurs, les développeurs et les passionnés désireux de comprendre le fonctionnement interne des LLM sans un budget de plusieurs millions de dollars.

Pour commencer : un guide rapide

Pour vous lancer dans l'aventure Nanochat, le moyen le plus rapide est d'exécuter le script speedrun.sh. Ce script gère l'ensemble du processus, de la préparation des données à l'entraînement du modèle et à l'inférence. Une fois l'entraînement (qui prend environ 4 heures) terminé, vous pouvez interagir avec votre LLM nouvellement entraîné via une interface utilisateur web en exécutant python -m scripts.chat_web.

Le projet donne également des indications sur la mise à l'échelle, suggérant des méthodes pour entraîner des modèles plus grands (par exemple, le modèle d26 de 300 $ le niveau) avec des ajustements mineurs à la configuration de speedrun.sh, impliquant principalement l'augmentation des fragments de données et la gestion prudente des tailles de lots d'appareils pour éviter les erreurs de mémoire insuffisante.

Conçu pour l'apprentissage et le "hacking"

Nanochat évite délibérément la complexité d'un cadre LLM exhaustif. Au lieu de cela, il privilégie une base de code "forte et de référence" unique, cohérente, minimale, lisible et hautement "forkable". Cette philosophie de conception vise à assurer une grande accessibilité cognitive pour quiconque souhaite se lancer dans le développement de LLM. L'objectif est de produire un clone concret de ChatGPT et son "carnet de notes" d'évaluations et de métriques.

Pour ceux qui disposent de matériel moins puissant, Nanochat offre également un support expérimental pour les appareils CPU et MPS (Apple Silicon), permettant de bricoler et d'entraîner de très petits LLM, bien qu'avec plus de patience.

Contribuer à l'avenir des micro-modèles

Nanochat est un projet en cours, visant à faire progresser l'état de l'art en matière de micro-modèles accessibles pour un travail de bout en bout avec des budgets inférieurs à 1000 $. Les contributions sont les bienvenues, soulignant l'aspect communautaire du développement d'un écosystème de formation LLM robuste mais simple.

En démystifiant le processus et en abaissant la barrière à l'entrée, Nanochat promet d'être un outil essentiel pour quiconque souhaite créer, comprendre et personnaliser ses propres assistants IA, directement depuis son propre environnement informatique.