DreamFusion: テキストから3Dへの革命的な手法
DreamFusionは画期的なAIツールです。現在、3D合成には大規模なラベル付き3Dアセットのデータセットと3Dデータのノイズ除去のための効率的なアーキテクチャが必要ですが、これらは存在しません。DreamFusionはこの問題を回避するために、事前学習された2Dテキストから画像への拡散モデルを使用してテキストから3D合成を行います。
コア機能
- 確率密度蒸留に基づく損失を導入し、2D拡散モデルをパラメトリック画像ジェネレータの最適化のための事前情報として使用できます。
- ランダムに初期化された3Dモデル（ニューラル輻射場、またはNeRF）を勾配降下法で最適化し、任意の角度からの2Dレンダリングで低損失を達成できます。
基本的な使用方法
- キャプションを与えると、DreamFusionは高忠実度の外観、深度、法線を持つリライト可能な3Dオブジェクトを生成します。
- 生成されたNeRFモデルはマーチングキューブアルゴリズムを使用してメッシュにエクスポートでき、3Dレンダラーやモデリングソフトウェアに簡単に統合できます。
DreamFusionは、事前学習された画像拡散モデルを事前情報として効果的に活用し、3D合成の新たな可能性を開拓しています。
