NitroGen : Modèle de base Open AI pour les agents de jeu

Introduction

Le jeu vidéo a longtemps servi de terrain d’essai pour la recherche en intelligence artificielle. Des bots simples basés sur des règles aux agents sophistiqués de renforcement, les développeurs repoussent continuellement les limites de ce qu’un ordinateur peut faire dans un monde virtuel. Le NitroGen de NVIDIA pousse cette ambition d’un cran de plus : un modèle de base ouvert capable de jouer à une large gamme de jeux vidéo directement à partir d’entrées pixels.

Dans cet article, nous explorons la conception, les données d’entraînement et l’utilisation pratique de NitroGen. Que vous soyez chercheur, passionné ou développeur de jeux curieux de l’IA, vous trouverez une feuille de route claire pour mettre NitroGen en marche sur votre machine.

What is NitroGen?

• Modèle de base open‑source : le code et les poids sont librement disponibles sur GitHub et Hugging Face.
• Agent de jeu généraliste : NitroGen n’est pas réglé sur un seul titre ; il apprend à partir d’un immense jeu de données vidéo‑action provenant entièrement d’internet.
• Architecture de clonage comportemental : le modèle imite le jeu humain en reproduisant les actions ayant produit les images de jeu enregistrées.
• Pixel à contrôle : l’entrée est des pixels RGB bruts ; la sortie est des commandes de manette discrètes adaptées à la plupart des jeux Windows.

Le papier de recherche du projet (Magne et al., 2026) détaille la construction du jeu de données et l’architecture du modèle. La version open‑source permet à la communauté d’adapter, d’étendre et de valider le modèle sur de nouveaux jeux.

Training & Data

NitroGen a été entraîné avec plus d’1 million d’heures de jeu capturées depuis des vidéos disponibles publiquement. Points clés :

1. Taille du jeu de données – La masse est essentielle pour un modèle généraliste. La diversité des jeux, des angles de caméra et des styles de joueurs entraîne le réseau à généraliser.
2. Clonage comportemental – Pour chaque image, les étiquettes d’action originales (p. ex., pressions de boutons) sont extraites. Le modèle apprend à mapper image → action.
3. Normalisation et augmentation – Les images brutes sont redimensionnées à 84×84 et normalisées. L’augmentation des données inclut le recadrage aléatoire et les variations de luminosité pour renforcer la robustesse.

Comme le modèle a été entraîné entièrement sur des vidéos de l’internet, le code est totalement exempt de binaires de jeux protégés. Vous fournissez l’exécutable lors d’une étape ultérieure.

Installation Guide

Voici des instructions pas à pas pour mettre NitroGen sur un ordinateur portable Windows ou un serveur Linux.

1. Clonez le dépôt

git clone https://github.com/MineDojo/NitroGen.git
cd NitroGen

2. Créez un environnement Python

Nous recommandons d’utiliser Python ≥ 3.12 (voir pyproject.toml du dépôt).

python -m venv venv
source venv/bin/activate          # Sur Windows : venv\Scripts\activate
pip install -e .                  # Installe les dépendances et le package local

3. Téléchargez le point de contrôle pré‑entraîné

Le point de contrôle est hébergé sur Hugging Face dans le repo nvidia/NitroGen.

hf download nvidia/NitroGen ng.pt

4. Lancez le serveur d’inférence

python scripts/serve.py <chemin_vers_ng.pt>

5. Jouez à un jeu

Vous devez avoir un jeu Windows installé. Recherchez le nom exact de l’exécutable dans le Gestionnaire des tâches (Ctrl + Shift + Esc) → Détails → Clique‑droit → Propriétés.

python scripts/play.py --process 'mygame.exe'

Astuce : si votre jeu utilise DirectX 11 ou supérieur, la routine de capture d’écran de NitroGen fonctionne bien. Pour les titres à faible fréquence d’images, envisagez d’augmenter la fréquence de capture dans scripts/play.py.

Key Features & Limitations

Extending NitroGen

1. Fine‑tuning sur un nouveau titre – Rassemblez un petit ensemble de vidéos de jeu pour le jeu cible et utilisez le script train.py fourni pour adapter le modèle.
2. Espaces d’actions personnalisés – Modifiez la définition action_space dans le fichier de configuration d’entraînement pour correspondre à un nouveau schéma de contrôleur.
3. Multi‑CPU/ GPU – Le serveur est mono-threaded ; vous pouvez déployer plusieurs instances derrière un équilibreur de charge pour une plus grande capacité.

Pour des instructions détaillées, consultez le répertoire docs/ du dépôt.

How to Contribute

• Bug Reports – Signalez des incidents sur GitHub.
• Pull Requests – Améliorations de code, nouvelles recettes d’entraînement ou scripts supplémentaires. Veuillez suivre les lignes directrices de contribution dans CONTRIBUTING.md.
• Discussion communautaire – Rejoignez le canal Slack de NVIDIA AI Research ou le serveur Discord #nitrogen pour une aide en temps réel.

Summary

NitroGen démontre qu’un seul modèle de base peut gérer une large gamme de jeux au niveau pixel. En s’appuyant sur un dépôt open‑source, NVIDIA invite la communauté de recherche à tester, étendre et remixar la technologie.

Que vous testiez les limites du clonage comportemental ou que vous ayez besoin d’un agent prêt à l’emploi pour un pipeline de test, NitroGen offre un point de départ solide et bien documenté. Clonez le dépôt aujourd’hui, lancez votre premier jeu et rejoignez la conversation autour de l’IA de jeu ouverte. Bon jeu !

Citation (pour usage académique) :

@misc{magne2026nitrogen,
  title={NitroGen: An Open Foundation Model for Generalist Gaming Agents},
  author={Loïc Magne and Anas Awadalla and Guanzhi Wang and Yinzhen Xu and Joshua Belofsky and Fengyuan Hu and Joohwan Kim and Ludwig Schmidt and Georgia Gkioxari and Jan Kautz and Yisong Yue and Yejin Choi and Yuke Zhu and Linxi "Jim" Fan},
  year={2026},
  eprint={2601.02427},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2601.02427},
}

NitroGen : Modèle de base Open AI pour les agents de jeu