GET3D: 高品質3Dテクスチャ付き形状の生成モデル
GET3Dは、画像から学習した高品質の3Dテクスチャ付き形状の生成モデルです。このモデルは、2つの潜在コードを通じて3D SDFとテクスチャフィールドを生成します。DMTetを利用してSDFから3D表面メッシュを抽出し、表面点でテクスチャフィールドを照会して色を取得します。対立的損失を用いて2D画像上で訓練されており、特に、ラスタライゼーションベースの微分可能なレンダラーを使用してRGB画像とシルエットを取得します。2Dディスクリミネーターを2つ利用し、それぞれRGB画像とシルエットに対して、入力が本物か偽物かを分類します。このモデル全体はエンドツーエンドで訓練可能です。
GET3Dは任意のトポロジー、高品質の幾何学とテクスチャを持つ多様な形状を生成できます。いくつかの業界が大規模な3D仮想世界のモデリングに向かっている中で、3Dコンテンツの量、質、多様性の面でスケールできるコンテンツ作成ツールの必要性が明らかになっています。この研究では、3Dレンダリングエンジンで直接使用できるテクスチャ付きメッシュを合成する高性能な3D生成モデルを訓練することを目指しています。
このモデルは、幾何学とテクスチャの良好な分離を実現しています。また、潜在コードの補間により、それぞれに意味のある補間を示しています。さらに、様々なカテゴリの異なる形状間の滑らかな遷移を生成でき、ユーザーからのテキストプロンプトに基づいて大量の意味のある形状を生成することも可能です。
