ぞむろぐ

バイクツーリング、鉄道旅行・キャンプ。動画の撮影編集に関する備忘録。主にニコニコ動画で活動中。 所持バイクはホンダのゼルビスとグロム(2018年2月時点)毎週木曜午前12時頃更新(予定)

MENU

3Dモデルを動かすために新しいツールを導入した話(VSeeFace+LeapMotion)

車載とは別チャンネルで投稿している動画に使いたくて、新しいツールを導入してみました。

手始めにテストとしてTwitterに投稿したのが下記のもの。

 

実際に投稿したのが下記の動画。まだツールの設定が固まっていない、使用法の理解が甘いため、ほとんど動かせてない。まずはやってみました、というレベル。

 

youtu.be

 

前からVRMのモデルを使っていたのだけど。キャラのモーションについては、レコッテスタジオという編集ソフトを使っていました。

www.ah-soft.com

自分で作成したモデルを読み込んで、プリセットに登録されたモーションを実行できます。しかし、当然ながら登録されたモーションしか使用できず、デフォルト以外のモーション追加が、結構大変だったり。モーションが滑らかなのはいいんだけど、もう少し自分の思う通りに動かしたい。

上半身だけでいいので、自分の動きをトラッキングして、モデルを動かすことはできないかと調べていていたんですが。以前のPCだと、スペックがそこまで高くなくて、二の足を踏んでいました。以前のPCが壊れて、強制的に買い替えることになったものの、スペックが一気に上がったので、やってみようと。

 

■用意したもの

VSeeFace

VSeeFaceとは、3Dモデルの顔・手などをトラッキングを行って、動かすことができるソフト。無料でダウンロード可、商用・非商用どちらでも利用できるソフト。

 

・LeapMotion

Leap Motion(リープモーション)とは、手のジェスチャーによってコンピュータを操作ができるデバイス。Amazonで新品だと、1万8千円程度。中古だと1万円前後で購入できるようです。私は中古のものを購入しました。

発売されたのが2012年頃? 今は、後継のデバイスもあるようで、けして最新のものではないです。でも、その分安価で手にいられるので、試してみようと。

 

・Webカメラ

Webカメラは元々利用していたものがあるので、そのまま使用。

 

■VSeeFaceの設定

VSeeFaceについては、海外のソフトなので、基本英語なのですがUIは日本語も選択できます。また、実際に使い方や設定の参考になるサイトがいくつかあったので、それを見ながら、色々試しています。

 

・Vseefaceの各設定の参考にしたサイト

stelladia.club

 

tkmr-torigi.fanbox.cc

 

leapmotionの設定もVSeeFaceのソフト内で行うのですが、その点がサイトを見ても、よくわからなかくて、少し悩んでました。実際に各パラメータを動かしながら、説明している動画とかないかなあ、と。下記の動画を見ながらやってました。日本の動画だと、それっぽいものが、あんまりなくて。

 

・leapmotion のカメラの設定について(海外の動画)

www.youtube.com

 

■3Dモデルのモーション撮影

 

VSeeFaceには、リップシンク機能があり、音声ファイルを読み込むことで、いわゆる口パクができます。ただ音声ファイルの再生や停止の操作ができない。音声がスタートするタイミングもわかりづらいので、30秒~1分くらいの短い尺で録画した方がよさそう。

また動画の撮影機能もない。だから、動画撮影にはOBSを使用。VseeFace側で背景透過を設定したものをウィンドウをOBSに取り込んで、OBSで動画を撮影します。手間だけど、他に方法がない。

 

■使ってみた所感

leapmotoinのトラッキング精度は、そこまで高くないし。反応する範囲もそれほど広くない。ただ、その点は事前に調べてわかっていたので、想定範囲内。VSeeFace側の設定や、実際の手の動かし方は、使ってみながら調整していく必要がありそうです。どういう手の動かし方をすれば、思ったように3Dモデルを動かせるか、コツをつかないといけないかも。VSeeFaceとLeapMotionの構成で使用し続けるは、まだ不明。

 

あくまで動画のパーツとしての使用することを考えてます。Vtuber用途ではないから、必要以上にこっち方面に投資はするつもりはない。できればモデルの方をもう少しいじりたくなってる。