Autoresearch de Karpathy: Deja que los agentes de IA revolucionen el entrenamiento de tus modelos

La era de la investigación manual de IA ha terminado. El repositorio autoresearch de Andrej Karpathy (20.6k estrellas) introduce un enfoque revolucionario: los agentes de IA mejoran los LLMs de forma autónoma durante la noche sin intervención humana.

El Concepto Revolucionario

En lugar de que los investigadores ajusten manualmente hiperparámetros, arquitectura y optimizadores, autoresearch entrega el control a agentes de IA. El flujo de trabajo:

1. El agente edita train.py (modelo GPT, optimizador Muon+AdamW, bucle de entrenamiento)
2. Ejecuta un entrenamiento de 5 minutos (presupuesto fijo de tiempo real)
3. Evalúa en val_bpb (bits por byte, menor = mejor)
4. Mantiene las mejoras, descarta los fallos
5. Repite ~100x durante la noche

Despierta con modelos optimizados y registros detallados de experimentos.

Configuración Mínima de 4 Archivos

uv sync
uv run prepare.py  # Descarga datos + entrena tokenizador
uv run train.py    # Prueba manual (~5 min)

Archivos principales: - prepare.py – Preparación de datos + utilidades (fijo) - train.py – Parque de juegos del agente (modelo + entrenamiento) - program.md – Instrucciones del agente (editable por humanos)

Decisiones de Diseño Listas para Producción

✅ Un solo archivo editable mantiene las diferencias revisables ✅ Presupuesto fijo de 5 min = comparaciones justas de arquitectura ✅ Autocontenido – PyTorch + dependencias mínimas ✅ Métrica independiente del vocabulario (val_bpb)

Inicio Rápido para Usuarios de H100

# 1. Instalar (Python 3.10+)
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync

# 2. Preparar datos (~2 min)
uv run prepare.py

# 3. Ejecución de prueba (~5 min)
uv run train.py

Inicia Claude/Codex:

"¡Hola, lee program.md e inicia un nuevo experimento!"

¿Hardware más pequeño? Prueba estos forks

• MacOS: miolini/autoresearch-macos
• MacOS MLX: trevin-creator/autoresearch-mlx
• Windows RTX: jsegov/autoresearch-win-rtx

Consejos pro para bajo cómputo: Conjunto de datos TinyStories, vocab_size=1024, DEPTH=4, MAX_SEQ_LEN=256.

Por Qué Esto Cambia Todo

• Democratiza la investigación: Una sola GPU → progreso de frontera
• Optimizado para la plataforma: Encuentra el mejor modelo para tu hardware
• Programable por agentes: Edita program.md para agregar enjambres multiagente
• Licencia MIT: Haz fork, extiende, contribuye

Repositorio GitHub (20.6k ⭐) – El futuro de la investigación de IA ha llegado.