MagicAnimate: 革新的なヒューマンイメージアニメーションツール
MagicAnimateは、ディフュージョンモデルを利用したオープンソースプロジェクトです。このツールは、単一の画像とモーションビデオを使ってアニメーションビデオを作成できます。
コア機能
- 時間的一貫性を維持し、参照画像を忠実に保持し、アニメーションの忠実度を大幅に向上させます。
- 様々なソースからのモーションシーケンスで参照画像をアニメーション化できます。
- T2Iディフュージョンモデルとシームレスに統合できます。
基本的な使用方法
- StableDiffusion V1.5とMSEファインチューニングVAEの事前学習済みベースモデルをダウンロードします。
- MagicAnimateのチェックポイントをダウンロードします。
- インストール要件は、python>=3.8、CUDA>=11.3、ffmpegです。condaを使ってインストールする場合は、「conda env create -f environment.yml」「conda activate manimate」のコマンドを実行します。
メリット 現在、すべてのダンスビデオソリューションの中で最も高い一貫性を提供します。
デメリット 顔と手に若干の歪みがあります（繰り返し発生する問題）。デフォルト設定では、アニメ風から写実風へのスタイルシフトが起こり、特にビデオの顔部分で顕著です。これにはチェックポイントの修正が必要かもしれません。
