llmfit：ハードウェアに最適なLLMを探し出す究極のツール
llmfit：ハードウェアに最適なLLMを探し出す究極のツール
LLM（Large‑Language‑Model）の採用は急速に拡大していますが、メシーンに合ったモデルを選ぶのはまだ盲目的な推測にすぎません。たとえば、16 GB RAMを搭載したラップトップに30 B Whisperモデルが必要か？単一GPUワークステーションにMoEモデルを配置すべきか？従来は論文を読んで大きなバイナリをダウンロードし、簡易ベンチマークを実行し、結局ハードウェアが過剰又は不足する結果に終わることがあります。
そこで登場したのがllmfit – Rustで構築したターミナルユーティリティ。これは157種類のモデルを30社のプロバイダーから4つの次元（品質・速度・適合度・コンテキスト）で自動的に評価し、あなたのシステムで稼働可能なものを正確に示します。GPUメモリ計算や不確かな量子化選択に悩もうという必要はありません。
llmfitの機能
| 機能 | 説明 |
|---|---|
| ハードウェア検出 | RAM・CPUコアを読み取り、Nvidia／AMD／Intel／Apple GPUを自動検出。CUDA・Metal・ROCm・SYCLといったバックエンドとVRAM情報を返します。 |
| 動的量子化 | Q8₀ から Q2℺ まで階層を遡り、最高品質・適合度の量子化を選択。何も完全に適合しない場合は半分のコンテキストでフォールバックします。 |
| Mixture‑of‑Experts（MoE） | MoEモデル（Mixtral、DeepSeek 等）を検出し、アクティブなエキスパートのメモリ使用量を計算。効率的なオフロードを実現します。 |
| スコアリング & ランキング | 使用ケース別に重み付けされた複合スコアを算出し、ソート可能な表でトップモデルを表示します。 |
| マルチGPU・CPU＋GPU | 複数GPU構成、CPU＋GPUスピルオーバー、GPUが無い場合は純粋CPU実行もサポート。 |
| Ollama統合 | インストール済みOllamaモデルを自動で列挙しハイライト、ワンクリックで新モデルをダウンロード可能。ollama serve が稼働していれば即座に動作します。 |
| インタラクティブTUI & CLI | llmfit でncurses風インターフェースを起動、または --cli でクラシックテーブル表示を使用。 fit、search、info などのサブコマンドもあります。 |
| JSON出力 | どのコマンドにも --json を付与して機械可読データを取得、エージェントやスクリプトでの利用に最適。 |
| OpenClawスキル | OpenClaw用スキルを同梱し、openclaw.json 内で直接模型の推奨・構成を行えます。 |
速攻導入
始めるためのシンプルな3つの方法:
- Homebrew（macOS／Linux）
brew tap AlexsJones/llmfit brew install llmfit - Cargo（Rustユーザー）
cargo install llmfit - curl スクリプト（任意のUnixシェル）
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
Windowsをご利用の場合でも、スクリプトは %USERPROFILE%/.local/bin にバイナリをインストールします。適宜 PATH をご調整ください。
プロのヒント：インストール後、
llmfitでTUIを起動し Ollama に緑の✓が表示されれば、ローカルサーバーが検知され、すぐにモデルのプルを開始できます。
ツールの使い方
インタラクティブTUI
llmfit を実行すると、以下の情報を表示するクリーンなインターフェースが起動します。
- システム仕様：CPUコア数、RAM、GPU名、VRAM、バックエンド
- モデル表： score、tok/s、quant、mode、memory、use‑case の列
- キーボードショートカット：矢印キーまたは
j/kで移動、/で検索、fで適合度フィルタ、pでプロバイダー切替、dでモデル取得、rでインストール済みリスト更新、qで終了
クラシックCLI
プレーンテキストを好む方は --cli を併用してください。
# トップランクモデルを表示
llmfit --cli
# 完全適合モデルのみ
llmfit fit --perfect -n 5
# 人間が読みやすいJSON
llmfit recommend --json --limit 5 --use-case coding
--json フラグは、結果を別ツールへパイプする際や構成ファイルに保存する際に便利です。
背景技術
llmfit のコアは、リリースごとに同梱される単一の hf_models.json（<2 MB）にあります。ここには各モデルのパラメータ数、コンテキスト窓、プロバイダー、MoEフラグなどのメタデータが格納されています。Rust コードはこの埋め込みデータを利用して以下を実現します。
- ハードウェア検出 –
sysinfoが RAM と CPU を読み取り、nvidia‑smi、rocm‑smi、system_profiler などで VRAM とバックエンド情報を取得。 - モデル列挙 – データベースを走査し、量子化レベルごとのメモリ使用量を計算、ユーザー制約を適用。
- スコアリング – 品質・速度・適合度・コンテキストの4次元を正規化し、使用ケースに応じた重みで結合。
- レンダリング –
tui_app.rsがインタラクティブビューを管理し、tui_ui.rsがratatuiでレイアウトを描画、display.rsがクラシックテーブルを整形。
結果として、1 s 未満で瞬時に実行できるCLIユーティリティが完成します。
llmfit が重要な理由
- ゼロセットアップ – VRAM を手動計算したり、重いベンチマークを走らせたりする必要はありません。
- 最新情報 –
scripts/scrape_hf_models.pyが HuggingFace からデータを取得。make update-modelsでデータベースを更新。 - ポータブル – macOS、Linux、Windows、ARM、Intel で動作。Metal、CUDA、ROCm、SYCL、CPU バックエンドをサポート。
- 連携性 – Ollama、vLLM、LM Studio 等と連携し、モデル名をマッピングして実行可能性を提示。
- コミュニティフレンドリー – MIT ライセンスで Rust で書かれており、積極的にメンテナンスされ、ドキュメント付き。
利用シナリオ
| シナリオ | 推奨機能 |
|---|---|
| 個人ラップトップ | llmfit + --cli で 8–16 GB RAM にフィットする小型モデルを探す |
| 小規模サーバー | マルチGPUを有効化し、MoEモデルを取得し、CPU+GPUスピルオーバーを確認 |
| OpenClaw エージェント | 提供されているスキルを使用し、llmfit recommend の出力で Ollama モデルを自動設定 |
| 研究ラボ | make update-models を毎晩実行し、CI ワークフローへ llmfit recommend を組み込む |
コミュニティ参加
プロジェクトは以下のような貢献を歓迎しています。
- 新モデルを追加 –
scripts/scrape_hf_models.pyのTARGET_MODELSを更新。 - スコアリングの改善 – 使用ケースに合わせて重み付けを調整する課題を作成。
- 機能リクエスト – 新しいプロバイダーやバックエンドへのサポートを要望。
- バグ報告 – メモリ推定が誤っている場合は連絡していただく。
変更後は make update-models を実行し、更新された hf_models.json をコミットしてください。
まとめ
llmfit は「自分のマシンでどの LLM が動くか？」という難題を、単一で決定論的なコマンドに変えるツールです。正確なハードウェア検出、インテリジェントな量子化、網羅的なモデルカバレッジを組み合わせ、開発者・研究者・AIホビイストにとって不可欠なユーティリティとなっています。
今すぐ llmfit を試して、スクリーンに好きな LLM が数秒で表示される体験を してみましょう。最適なモデルを選ぶことは、推測ゲームであるべきではありません。