TinyRecursiveModels: 「Less is More」でAIを再定義する

大規模な基盤モデルが主流となる時代において、Samsung SAILT MontrealのTinyRecursiveModels (TRM) プロジェクトは、「Less is More（より少なく、より効果的に）」という、新鮮で力強い新たな潮流を提示しています。このオープンソースプロジェクトは、革新的な再帰的推論アプローチを導入し、わずか700万パラメータという非常にコンパクトなニューラルネットワークで、ARC-AGI-1（45%）やARC-AGI-2（8%）といった困難なAIベンチマークで目覚ましいスコアを達成しました。

現状への挑戦

TRMの根底にある動機は、複雑なAIタスクの成功は、大規模で訓練に多大なコストがかかるモデルを展開することのみに依存するという神話を払拭することです。TRMは、効率的な再帰的推論メカニズムを組み込んだ小さなモデルが、はるかに大きなモデルの性能に匹敵することを示しています。この哲学は、計算の障壁を減らすことでAI開発を民主化するだけでなく、インテリジェントシステムの研究に新たな道を開きます。

TRMの仕組み：簡素化された再帰的推論

TRMは、再帰的推論の概念を簡素化し、生物学的システムに触発された他のモデルによく見られる不必要な複雑さを取り除いています。その核心的なメカニズムは、予測された解答を繰り返し洗練させる小さなネットワークにあります。埋め込まれた入力質問、初期の埋め込まれた解答、および潜在状態から始めて、TRMは次の2つの主要なステップを実行します。

1. 再帰的潜在状態更新: モデルは、質問、現在の解答、および既存の潜在状態に基づいて、潜在状態を複数回再帰的に更新します。
2. 解答の洗練: 更新された潜在状態は、現在の解答を洗練するために使用されます。

この反復プロセスにより、TRMは、極めてパラメータ効率の高いフレームワーク内で、過去の誤りを効果的に修正し、過学習を最小限に抑えながら、ソリューションを段階的に改善することができます。

TinyRecursiveModelsを使ってみる

このプロジェクトでは、TRMのセットアップと実験を行うための包括的な手順が提供されています。始めるために必要なものは以下の通りです。

• 環境: Python 3.10 および Cuda 12.6.0（または類似のバージョン）。
• 依存関係: torch（CUDAバージョンとの互換性を確認してください）やその他の必要なライブラリをpip経由でインストールします。

データセットの準備と実験

TRMは以下の様々なデータセットをサポートしています。

• ARC-AGI-1 および ARC-AGI-2（訓練データに関する具体的な注意点が提供されています）。
• Sudoku-Extreme
• Maze-Hard

これらのデータセットを構築し、異なるGPU設定で実験を実行するための詳細なコマンドが利用可能で、論理推論とパズル解決タスクにおけるモデルの汎用性を示しています。実行時間は、タスクとハードウェアに応じて24時間未満から約3日程度です。

この研究の引用について

もしTinyRecursiveModelsがあなたの研究やアプリケーションに役立つと感じられたら、Alexia Jolicoeur-Martineau (2025) による論文 「Less is More: Recursive Reasoning with Tiny Networks」を引用していただけると幸いです。この研究は、その開発にインスピレーションを与えた革新的な階層的推論モデル (HRM) にも言及しています。

TinyRecursiveModelsは、力任せなスケーリングよりも、思慮深いアーキテクチャ設計の力を証明するものであり、高度なAI推論のための実用的でオープンソースなソリューションを提供します。