AIBit - オープンソースプロジェクトの発見 AIBit - オープンソースプロジェクトの発見

Inflect v2: 3.96Mおよび9.36Mパラメータによるローカルテキストから波形へのTTS

Inflect v2は、外部ボコーダーを必要とせず、2つのコンパクトなモデル（3.96Mおよび9.36Mパラメータ）で完全な24kHz英語TTSを提供します。アーキテクチャ、評価、CPU展開について詳しく説明します。

Inflect v2: 3.96Mおよび9.36Mパラメータによるローカルテキストから波形へのTTS

テキスト読み上げは、長い間、クラウドAPIやGPUクラスタを必要とする重量級モデルによって支配されてきました。しかし、完全で自然な音声のTTSシステムをCPUだけで実行でき、フットプリントが小さく、あらゆるアプリケーションに埋め込めるとしたらどうでしょうか？それがまさにInflect v2が提供するものです。

Inflect v2は、オープンウェイトのエンドツーエンドのテキストから波形へのモデルであり、生のテキストから24kHzのモノラル英語音声を合成します。2つのバリアントがあります：Inflect-Micro-v2（9,356,513パラメータ、37.53 MB FP32）とInflect-Nano-v2（3,966,721パラメータ、15.97 MB FP32）。どちらも同じPython APIとCLIを共有しているため、コードを変更せずに切り替えることができます。

Inflect v2が重要な理由

最新のTTSシステムのほとんどは、メルスペクトログラムを波形に変換するために、別のボコーダー（HiFi-GANなど）に依存しています。Inflect v2は、波形デコーダーをモデルに直接統合し、外部ボコーダーやホスト型推論コンポーネントを不要にします。これにより、次のことが可能になります：

  • 真のローカル推論 — クラウド呼び出しなし、遅延なし、プライバシーに関する懸念なし。
  • 最小限の依存関係 — PyTorch（またはONNX Runtime）と少数の標準ライブラリのみ。
  • 決定論的な出力 — シードが生成を制御し、テストや評価のために再現可能にします。

音声アシスタント、アクセシビリティツール、またはエッジアプリケーションを開発している開発者にとって、これはゲームチェンジャーです。40 MB未満の重みで完全なTTSパイプラインを出荷できます。

アーキテクチャ: コンパクトなVITSファミリージェネレーター

Inflect v2は、VITS（Variational Inference with adversarial Training for end-to-end Text-to-Speech）ファミリーのアーキテクチャに従いますが、効率性に重点を置いています。合成パスには以下が含まれます：

  1. 英語の正規化と音素フロントエンド — 生のテキストを音素に変換します。
  2. Transformerテキストエンコーダー — 音素シーケンスをエンコードします。
  3. 確率的持続時間予測器 — バリエーション制御で音素の持続時間を予測します。
  4. 単調アライメント — テキストを潜在的な音声表現に整列させます。
  5. 潜在変数音声生成 — 潜在的な音声シーケンスを生成します。
  6. 残差結合フロー — 潜在表現を洗練します。
  7. エイリアス低減24kHzデコーダー — 最終的な波形を直接生成します。

Microは隠れ層とデコーダーの幅により多くの容量を割り当て、Nanoはより狭いネットワークで同じ展開契約を維持します。両モデルは固定された英語の男性音声を出力し、決定論的なシード、話速、配信バリエーションの制御を備えています。

評価: 品質とフットプリントを個別に測定

Inflect v2は、単一のスコアにまとめるのではなく、異なる質問に答えるメトリクスを報告します。以下が主要なデータです：

モデル コミュニティ選好 ↑ UTMOS22 ↑ 2-ASRセマンティックWER ↓ FP32重み ↓
Inflect-Micro-v2 66.2% 4.395 3.99% 37.53 MB
Inflect-Nano-v2 63.9% 4.386 4.21% 15.97 MB
  • コミュニティ選好は、匿名のランダム化ペアワイズリスニングから得られ、モデルの出現回数で正規化され、同点は半分の勝利としてカウントされます。これは記述的な証拠であり、正式なMOSではありません。
  • UTMOS22は、音声ごとに500の一致した未見プロンプトで評価された学習済み品質予測器です。
  • セマンティックWERは、400の一致した未見プロンプトに対するQwen3-ASRとNemotron 3.5の等重みコーパスレベルの平均です。Whisper large-v3は、比較セットの一部での挿入過多の失敗のため、主要指標から除外されています。

CPU展開プロファイル

管理されたHugging Face CPUアップグレード参照（8 vCPU、32 GB RAM）で、4つのフレームワークスレッド、100の固定Modern400プロンプト、3回のパス（最初のキャッシュ構築パスを除く）で、Inflectは次のように測定しました：

  • Micro: RTF 0.1593（6.28倍リアルタイム）
  • Nano: RTF 0.0933（10.72倍リアルタイム）

つまり、Nanoは典型的なCPUで10秒の文を1秒未満で合成できます — 完全にローカルなモデルとしては印象的です。

はじめに: ローカルで実行する

リポジトリをクローンして、最初の合成を実行するのは簡単です：

git clone https://github.com/owenawsong/Inflect.git
cd Inflect
python -m pip install -r requirements.txt

python examples/download_and_speak.py \
  --model micro \
  --text "A complete local voice can fit almost anywhere." \
  --output inflect.wav

最初の実行では、選択したモデルがHugging Faceからダウンロードされキャッシュされます。インターフェースを変更せずに--model microを--model nanoに切り替えることができます。

同じプロンプトとシードで両方のモデルをレンダリングして比較することもできます：

python examples/compare_models.py \
  --text "The same sentence, rendered by both Inflect models." \
  --output-dir comparison

Python APIの使用

モデルリポジトリから、InflectTTSクラスを直接使用できます：

from inference import InflectTTS

tts = InflectTTS(".", device="cpu")
sample_rate, waveform = tts.synthesize(
    "The model returns a complete waveform.",
    speed=1.0,
    variation=0.667,
    seed=7,
)
tts.save("The same runtime can write a WAV directly.", "sample.wav", seed=7)

長い入力は句読点を認識する境界で分割され、チャンクごとに合成され、制御されたポーズで結合されます。これによりメモリ使用量が制限されます。これはグローバルに計画されたパスや音響ストリーミングではありません。

範囲と制限

Inflect v2はオープンウェイトのリリースですが、何ができて何ができないかを知ることが重要です。

サポートされているもの：

  • CPUおよびCUDAでのローカルPyTorch FP32推論
  • 公開されたONNXパッケージのONNX Runtime推論
  • モデルごとに固定された1つの英語男性音声
  • 決定論的なシード、話速、配信バリエーション
  • 句読点を認識する長文チャンキング
  • Python APIとCLIによる完全な波形生成

主張されていないもの：

  • 音声クローニング、選択可能な話者、女性音声、または多言語音声
  • 音響ストリーミングまたは測定された初回音声までの時間
  • GGUF、Core ML、TFLite、FP16、または整数量子化エクスポート
  • 医療、法務、緊急、またはアクセシビリティに重要なコミュニケーションでの使用

ドキュメントとコミュニティ

リポジトリには包括的なドキュメントが含まれています：展開ガイド、評価方法論、アーキテクチャの詳細、技術レポート、および言語と固定音声の適応ガイド（データ準備、トレーニング、エクスポートを含む）。

Inflect v2はApache-2.0ライセンスであり、バンドルされたサードパーティコンポーネントは独自の通知を保持します。これはOwen Songによって独立して設計および開発され、コミュニティはInflect Discordを介して参加できます。

最終的な考え

Inflect v2は、高品質なTTSが大規模なモデルやクラウドインフラストラクチャを必要としないことを証明しています。3.96Mパラメータと10.72倍のリアルタイムCPUスループットにより、パフォーマンスやプライバシーを犠牲にすることなく、自然な音声をアプリケーションに埋め込みたい開発者にとって優れた選択肢です。

音声アシスタント、アクセシビリティツールを構築している場合でも、最新のTTSを試している場合でも、Inflect v2は試す価値があります。リポジトリをクローンして、例を実行し、コンパクトなモデルが何ができるかを自分の耳で確かめてください。

ソース

owenawsong/Inflect: Inflectは、最小限のフットプリントで驚くほど自然なオーディオを提供するように設計された、軽量で高品質なテキスト読み上げモデルです。最新のTTSシステムを試している開発者向けに、高速な反復、強力な音声品質、簡単な統合に焦点を当てた活発な作業中プロジェクトです。