Autoresearch de Karpathy : Laissez les agents IA révolutionner l'entraînement de vos modèles

L'ère de la recherche IA manuelle est terminée. Le dépôt autoresearch d'Andrej Karpathy (20,6k étoiles) introduit une approche révolutionnaire : les agents IA améliorent les LLMs de manière autonome pendant la nuit sans intervention humaine.

Le concept révolutionnaire

Au lieu que les chercheurs ajustent manuellement les hyperparamètres, l'architecture et les optimiseurs, autoresearch confie le contrôle aux agents IA. Le workflow :

1. L'agent modifie train.py (modèle GPT, optimiseur Muon+AdamW, boucle d'entraînement)
2. Lance un entraînement de 5 minutes (budget temps fixe)
3. Évalue sur val_bpb (bits par octet, plus bas = meilleur)
4. Garde les améliorations, discard les échecs
5. Répète ~100x pendant la nuit

Réveillez-vous avec des modèles optimisés et des journaux d'expériences détaillés.

Configuration minimale en 4 fichiers

uv sync
uv run prepare.py  # Télécharge les données + entraîne le tokenizer
uv run train.py    # Test manuel (~5 min)

Fichiers principaux : - prepare.py – Préparation des données + utilitaires (fixe) - train.py – Terrain de jeu de l'agent (modèle + entraînement) - program.md – Instructions de l'agent (modifiable par l'humain)

Choix de conception prêts pour la production

✅ Un seul fichier modifiable garde les diffs vérifiables ✅ Budget fixe de 5 min = comparaisons d'architecture équitables ✅ Autocontenu – PyTorch + dépendances minimales ✅ Métrique indépendante du vocabulaire (val_bpb)

Démarrage rapide pour utilisateurs H100

# 1. Installation (Python 3.10+)
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync

# 2. Préparation des données (~2 min)
uv run prepare.py

# 3. Exécution de test (~5 min)
uv run train.py

Lancez Claude/Codex :

« Salut, lis program.md et lance une nouvelle expérience ! »

Matériel plus petit ? Essayez ces forks

• MacOS : miolini/autoresearch-macos
• MacOS MLX : trevin-creator/autoresearch-mlx
• Windows RTX : jsegov/autoresearch-win-rtx

Astuces pro pour faible calcul : Dataset TinyStories, vocab_size=1024, DEPTH=4, MAX_SEQ_LEN=256.

Pourquoi cela change tout

• Démocratise la recherche : Un seul GPU → progrès de pointe
• Optimisé pour la plateforme : Trouve le meilleur modèle pour votre matériel
• Programmable par agents : Modifiez program.md pour ajouter des essaims multi-agents
• Licence MIT : Forkez, étendez, contribuez

Repo GitHub (20,6k ⭐) – L'avenir de la recherche IA est arrivé.