タグ付きの投稿: MLX
Content related to MLX
oMLX: SSDキャッシュ付きMacメニューバーLLMサーバー
March 10, 2026
oMLXを発見してください。Apple Silicon Mac向け究極のローカルLLMサーバー。メニューバーからLLM、VLM、エンベディングを実行。連続バッチ処理、階層型KVキャッシュ（RAM + SSD）、マルチモデルサービングを備えています。管理ダッシュボード、OpenAI API互換性、Claude Code最適化、Hugging Faceからのワンクリックモデルダウンロードを搭載。DMG、Homebrew、ソース経由でインストール – クラウドコストなしでプロダクション級ローカルAIを求める開発者に最適。
1週間であなただけのLLMサーバーを構築しよう
September 12, 2025
Tiny LLMで大規模言語モデルの世界を体験しませんか？システムエンジニア向けの、実践的かつオープンソースのコースです。Apple Silicon上のMLXを使用して、LLMサービングインフラストラクチャの構築から最適化までをゼロから学びます。この1週間のコースでは、基本的な行列演算から、高度なC++/Metalカーネル、高スループットのためのリクエストバッチ処理まで、すべてを網羅します。LLMの内部構造に興味がある方も、独自のモデルを展開したい方も、Tiny LLMは、LLMサービングの謎を解き明かすための明確なガイダンスとコミュニティサポートを提供します。