車載とは別チャンネルで投稿している動画に使いたくて、新しいツールを導入してみました。
手始めにテストとしてTwitterに投稿したのが下記のもの。
ちょっとした実験。
— zomu memo (@zomuzomu) August 13, 2023
別にVになりたいとかそういうわけじゃないので。 pic.twitter.com/cGDIvZpRQU
実際に投稿したのが下記の動画。まだツールの設定が固まっていない、使用法の理解が甘いため、ほとんど動かせてない。まずはやってみました、というレベル。
前からVRMのモデルを使っていたのだけど。キャラのモーションについては、レコッテスタジオという編集ソフトを使っていました。
自分で作成したモデルを読み込んで、プリセットに登録されたモーションを実行できます。しかし、当然ながら登録されたモーションしか使用できず、デフォルト以外のモーション追加が、結構大変だったり。モーションが滑らかなのはいいんだけど、もう少し自分の思う通りに動かしたい。
上半身だけでいいので、自分の動きをトラッキングして、モデルを動かすことはできないかと調べていていたんですが。以前のPCだと、スペックがそこまで高くなくて、二の足を踏んでいました。以前のPCが壊れて、強制的に買い替えることになったものの、スペックが一気に上がったので、やってみようと。
■用意したもの
VSeeFaceとは、３Dモデルの顔・手などをトラッキングを行って、動かすことができるソフト。無料でダウンロード可、商用・非商用どちらでも利用できるソフト。
・LeapMotion
Leap Motion（リープモーション）とは、手のジェスチャーによってコンピュータを操作ができるデバイス。Amazonで新品だと、１万８千円程度。中古だと１万円前後で購入できるようです。私は中古のものを購入しました。
発売されたのが2012年頃？ 今は、後継のデバイスもあるようで、けして最新のものではないです。でも、その分安価で手にいられるので、試してみようと。
・Webカメラ
Webカメラは元々利用していたものがあるので、そのまま使用。
■VSeeFaceの設定
VSeeFaceについては、海外のソフトなので、基本英語なのですがUIは日本語も選択できます。また、実際に使い方や設定の参考になるサイトがいくつかあったので、それを見ながら、色々試しています。
・Vseefaceの各設定の参考にしたサイト
leapmotionの設定もVSeeFaceのソフト内で行うのですが、その点がサイトを見ても、よくわからなかくて、少し悩んでました。実際に各パラメータを動かしながら、説明している動画とかないかなあ、と。下記の動画を見ながらやってました。日本の動画だと、それっぽいものが、あんまりなくて。
・leapmotion のカメラの設定について（海外の動画）
■3Dモデルのモーション撮影
VSeeFaceには、リップシンク機能があり、音声ファイルを読み込むことで、いわゆる口パクができます。ただ音声ファイルの再生や停止の操作ができない。音声がスタートするタイミングもわかりづらいので、３０秒～１分くらいの短い尺で録画した方がよさそう。
また動画の撮影機能もない。だから、動画撮影にはOBSを使用。VseeFace側で背景透過を設定したものをウィンドウをOBSに取り込んで、OBSで動画を撮影します。手間だけど、他に方法がない。
■使ってみた所感
leapmotoinのトラッキング精度は、そこまで高くないし。反応する範囲もそれほど広くない。ただ、その点は事前に調べてわかっていたので、想定範囲内。VSeeFace側の設定や、実際の手の動かし方は、使ってみながら調整していく必要がありそうです。どういう手の動かし方をすれば、思ったように3Dモデルを動かせるか、コツをつかないといけないかも。VSeeFaceとLeapMotionの構成で使用し続けるは、まだ不明。
あくまで動画のパーツとしての使用することを考えてます。Vtuber用途ではないから、必要以上にこっち方面に投資はするつもりはない。できればモデルの方をもう少しいじりたくなってる。
