Vtuberの作り方。BlenderとUnityとPerception Neuronを用いたVtuber制作方法の公開

Vtuberの制作タイプ

Vtuber(バーチャルYoutuber)の作り方には主に

  1. Facerig
  2. Unity + VR HMD
  3. Unity + Perception Neuron

の3つの方法があります。

このうち、Facerigは価格が約2000円と最も安く、セットアップもWebカメラさえあればよく、プログラミングもいらず制作コストも最も低いものとなります。

しかしその分、拡張性は低く、上位グレードではPerception Neuronを用いた全身のトラッキングも可能ですが、Facerigで対応している機能以外への対応は不可能となります。

次に、Unity(あるいはUE4等ゲームエンジン)とOculus Rift やHTC Vice 等のVR HMDを使う方法ですが、VR HMDの価格は6万円ほどの価格ですが、VRを動かす母艦となるパソコンは高性能なものが必要となり、パソコンも新調するとなると合計で20万円以上の設備投資が必要になってきます。

また、VR HMDでは手のコントローラーも付属するため、手や上半身のトラッキングはIK(インバースキネマティクス)と呼ばれるアニメーションリグの技術により可能ですが、全身のトラッキングは自分で対応するのは高度な実装力が必要となり困難となります。

3つ目のUnity + Perception Neuronの方法ですが、こちらはPerception Neuronが20万円~と高額となりますが、Unity用のSDK(開発するためのライブラリ)が公式で用意されており、全身のトラッキングが容易になっています。

この記事では、3つ目のUnity + Perception Neuronの方法を採用し、解説をしていきます。

Blenderを用いたモデリング

Vtuberを制作するためにまず必要になるのはなんといっても3Dのモデルです。

非商用で使う場合は多くのMMD素体等が公開されているため、その素体を元に制作するのがよい選択肢となります。

商用で使う場合、商用で改造可能なモデルが非常に少ないため、自前でモデリングをし用意する選択に差し迫られます。

モデリングはモデリングソフトで行えますが、有料であればAutodesk製品やメタセコイア等が選択肢となります。

Blenderは無料で使えてかつ高機能なため、弊社ではBlenderを用いて制作しています。

顔のモデリング



Shift + AからPlaneを追加し、エディットモードへ移行し、頂点を顔の輪郭の形に合わせて編集していきます。

頂点が足りない場合、2頂点を選択してからWキー>Subdivideで分割します。

この作業を繰り返し顔の輪郭ができたら、Kキー(ナイフツール)で目や口、鼻の形をかたどり、全体をナイフで分割していきます。

この時、アニメーションさせることを意識し、適切な流れになるように作っていきます。(動画参照)

かなり経験則に依存する作業なので、はじめはうまくポリゴンの流れを作れないのが普通です。根気で乗り切ってください。

眉とまつ毛のモデリング

顔のメッシュを複製して眉とまつ毛を作成します。

モデルのUV展開とテクスチャ作成

モデリングが終わったら、そのモデルのためのテクスチャ(モデル表面の模様)を作るために、UV展開という作業が必要になります。

UV展開をするためには、オブジェクトモードでモデルを選択し、エディットモードへ移ります。

展開時に切れ目としたいエッジにシーム(seam)を指定し、指定し終わったらUV展開をします。

「スペースキー>mark seam」でシームを指定し、「Uキー>Unwrap」でUV展開ができます。

<動画>

シェイプキーの作成

表情のアニメーションをするためには、シェイプキーと呼ばれる頂点の座標を記録する機能で表情を制作しておく必要があります。

最低限、あいうえおの口の形と、目の開閉、眉毛の上下ができるようにセットアップしておきましょう。

<動画>

ボーンとウェイトの設定

Perception Neuronに対応させるためには、モデルへボーンを設定する必要があります。

Shift+A > Armature からRigifyのボーンをモデルへ仕込んでいきます。

自動でのウェイトがうまくいかない場合は、手動でウェイトを調整していく必要があります。

<動画>

Unity側での作業

モデルのボーン作業が終わったら、BlenderからFBXでモデルをエクスポートして、Unity側でシーンを設定していきます。

この作業の全容は下記のUdemy講座で公開しています。

※内容が古くなったためUdemy講座の公開を停止しました。