MMDと実写の合成。マッチムーブのすごく大雑把な作業手順

8月末に投稿したボイスロイド車載動画。実写とMMDの合成。いわゆるマッチムーブを毎回試してみて、少しずつすすめてきた。今までは、カメラのアングルがあまり動かない素材を使っていた。しかし、今回は、そうした合わせやすい映像がなかったので、やむなく下記のシーンを採用。

MMDマッチムーブ。昨日の続き。キャラの動きはほぼ完了。小ジャンプやキャラの微妙な縦横揺れをつけて、不自然な部分をごまかす。後は地面の影の向き大きさ濃さ、照明の調整。MMDの地面影色設定以外で、影を濃くできないもんかな。
月内投稿したいので、対応難しい部分は見切る。 pic.twitter.com/vrkR6nWeaa

— zomu memo (@zomuzomu) August 26, 2020

マッチムーブ初心者としては、実写とMMDを合わせる難易度として次のように考えている。1が一番易しく、下にいくほど難易度が上がってくる。

1. [背景静止画または、アングル固定] ＋ [モデル位置ほぼ固定]
2. [背景アングル移動あり] ＋ [モデル位置ほぼ固定]
3. [背景静止画または、アングル固定] ＋ [モデル位置移動あり]
4. [背景アングル移動あり] ＋ [モデル位置移動あり]

今回は難易度的には2。ただし、モデルの影を調整する必要があったので、2.5といったところだろうか。あくまで自分にとっての難易度なので、本職？の人達から見たら、変わってくるかもしれない。

作業手順としては、

1. 合成したい実写を選ぶ。尺の長い動画で使わないシーンも含まれる場合は、必要な部分だけ切り出す。
2. MMD側で実写に合わせたポーズや動きを付け、照明を調整。動画で出力する。
3. Afftereffectsで実写とMMDのファイルを合わせる。
4. 実写レイヤーを3Dトラッカーでトラッキング。カメラ―レイヤーを作成
5. MMDのレイヤーの３D欄にチェックを入れて３Dレイヤー化する。
6. MMDのモデルのスケールや位置を、実写に合わせる
7. 実写との合成具合を見ながら、MMDソフト側でモーション。カメラアングル。影の調整を行い、都度書き出す。
8. Afftereffects上で、確認しつつ、納得する又は時間が許す限り調整を繰り返す

カメラやモーションを保存する時は、1つのファイルを上書きするのではなく、何かあった時に、前のバージョンからやり直せるように作業の進捗や修正度合いを見ながら、ファイルを分ける。

MMDのモデルのスケール、背の大きさは、実写内の人物や建物を見ながら、ざっくりと合わせています。照明については、AE側でも必要に応じて、ライトを設定し、調整したりします。

後はひたすら、MMD側のモーションなどを調整していくわけですが。どこまで突き詰めてやるかは、目指すレベルと労力次第。私は、とことんまでは行かず、ある程度までで妥協しています。この作業を繰り返して慣れてきたら、もう少し詰めたいかな、とは思いますが。

MMDのモーションは、ゼロから全部設定するのは私は無理。だから、配布されているモーションを最初にいくつか設定。そこから変更したり、削ったりして合わせます。後は、MMDで出力するファイルとアフターエフェクト側のフレームレートを同じにしておかないと、動きを合わせづらいので注意。

まだ要領つかめてないので、とにかくひたすら調整って感じです。