おはこんばんちわ。
勉強のため4時起床を始めたのに、子供たちまで4時に起きはじめてSwitchやってる。
『なにもう結局あんまり変わらんじゃん！』…な4児の父、山本です。
さて、今回はソニー製モーションキャプチャーデバイス「mocopi」に関するお話です。
mocopiに関する公式サイトはこちら
https://www.sony.co.jp/en/Products/mocopi-dev/jp/
先月、mocopiのPCアプリがアップデートされ、
1台のPCで複数のキャラクターを同時に収録することができるようになりました。
https://www.sony.jp/mocopi/info/20260416.html
今までは1台のPCで複数mocopiアプリを立ち上げることができず、Mayaで複数キャラクターを収録するには少々困難でした。
今回のアップデートで複数mocopiアプリを同時に立ち上げることができるようになり、PC1台でも複数キャラクターのアニメーション収録をより手軽に行うことができるようになったわけです。
これにより、
・複数人数のダンスモーション
・インゲームの街並みにいるようなモブキャラクターの会話モーション
…などのモックを、思い立ったらさっと収録する！…といった、そんなことが可能になったのかもしれません。
開発現場にも恩恵が大きいかも…検証だ！
ということで、この記事では、
実際にmocopiを使って2人のモーションをMaya上のキャラクターに流し込んでみた検証の様子を紹介し、
- 複数キャラクターの収録方法とMayaでの録画
- 使用してみた感想とゲーム制作業務における使用展望
…について取り上げていきます。
検証環境
なお、今回の検証の環境は以下のとおりです。
- windows11
- mocopiPCアプリ
- mocopi 6個で一人分
mocopiで複数キャラクターを収録する
mocopiでの複数キャラクターのモーション収録は、まずmocopiアプリを人数分立ち上げるところから始めます。
複数立ち上げたmocopiアプリで、それぞれ従来通りのmocopiセットアップを行います。
mocopiアプリを複数起動する
mocopiアプリを複数立ち上げてみます。
スタートメニューなどのmocopiアプリのアイコンを再度クリックするか、タスクバーのアイコンを右クリック→mocopiのアプリアイコンをクリックして複数起動することができます。
【新機能】プロファイル機能について
今回のアップデートで、mocopiの「プロファイル機能」が新たに追加されています。
mocopiのプロファイルとはレシーバーとmocopi機器とレシーバーのリンク設定のことで、
「どのシリアル番号のmocopiとレシーバーが接続可能になっているか」
を記憶します。
mocopiアプリの起動時に…
- プロファイルを新規作成する
- 既存プロファイルを選択する
という選択肢が表示されるようになっており、新規に設定を作るか・過去の接続設定を読み込むかが選択できるようになっているわけです。
mocopiとレシーバーをリンクする
リンク操作自体は従来通りです。
mocopiアプリの表示に従って、mocopi中央のボタンを押しながら、1つずつ起動していきます。
その後、mocopiとレシーバーを順番にリンクしていきます。
この時、mocopi機器の裏側に印字されているシリアル番号と一致しているか確認画面が出ます。
複数セットのmocopiを取り扱う場合、間違った機器と接続がつながらないようシリアル番号を確認しながら進めます。
※接続選択がまぜこぜにならないよう、一つずつmocopiを起動しながら進めると安心です。
もう片方のセットも同様に設定する
2人目の設定も基本的にはまったく同じです。
mocopiアプリが2つ立ち上がっているだけなので、同じ工程を行って、mocopiとレシーバーをリンクさせます。
mocopiを装着する
リンクが完了したら、続いてmocopiを身体へ装着していきます。
ここもアプリの指示に従うだけでOK。
mocopiは一つ一つの工程を画面に表示して説明しながら進めてくれるので、毎回迷わず準備を進めることができますね。
キャリブレーションを行う
装着が終わったら、キャリブレーションを行います。
※キャリブレーション工程は従来のmocopiと変わりません。
キャリブレーションが終わると、mocopiアプリ上でキャラクターが自分の動きに合わせて動くのが確認できるようになります。
キャラクターが自分の動きの通りに動く様子を見るだけでも、楽しくなりますね！
【ポイント】mocopiキャリブレーションのコツ
mocopiのキャリブレーションは「Tポーズをとって制止する」というような方式ではなく、
- 「気を付け」の姿勢をとる
- 合図に合わせてスッと素早く一歩前へ出る
という動作を行います。
mocopiのモーションキャプチャの仕組みが「ジャイロ」と「加速度センサー」にあり、
このmocopi特有のキャリブレーション動作では、これらをキャリブレーションしています。
キャリブレーションがうまくできなかった場合、mocopiアプリ上で「再キャリブレーション」を推奨するメッセージが表示されます。
その際は、下記2点のコツを意識をするとキャリブレーション精度が上がると思います。
秋葉原のプロ版mocopi体験会のイベントにて伺った「しくみ」と「コツ」
以前秋葉原で行われたプロ版mocopiの体験会イベントに伺った際、
Sonyスタッフさまよりキャリブレーションの「しくみ」と「コツ」について具体的に伺うことができました。
この機会に少しだけ紹介します。
コツ①「気を付け（基本姿勢）」の姿勢では絶対に動かない
気を付け（基本姿勢）の状態での静止状態では、絶対に動かないようにすることが肝要です。
画面に映るキャリブレーションの説明動画が気になって、思わず頭を動きがちなのですが…ここがぐっとこらえて、我慢です。
キャリブレーションの「合図の音」にだけ集中しましょう。
コツ②前に出るときは「平行移動」と「素早さ」を意識
さらに前へ出る際には、「平行移動」と「素早さ」を意識します。
これは「加速度センサーにしっかり効かせる」という狙いになります。
よくあるのが「大股を意識するあまり歩幅が大きくなりすぎてしまう」ということです。
これだと体が上下左右にぶれてしまいます。
また、一歩出た後の足の角度がずれてしまって、「基本姿勢」を取ろうにも脚がゆがんで元の姿勢に戻れなかったり、
体に加速がかかりすぎて、ぴたりと制止できない…といったことなども起こりがちです。
なので、その辺をふまえて…
- 大股になりすぎない
- 平行移動を意識する
- スッと素早く前に出る
- 一歩出たら元のポーズで制止
を意識して実施してみると、キャリブレーション結果は大分安定する印象です。
「加速度とジャイロを調整している」ということを意識して行うと、成功率が上がる印象
いずれのコツも「加速度センサーとジャイロに効かすぞ！」という気持ちで行うと、なんだかぐっと成功率が上がる気がします。（気持ちの問題
Mayaで収録する
mocopiの準備ができたら、いよいよMayaでの収録です。
事前にmocopiプラグインをMayaへインストールしておき、シェルフからToolを起動できるようにしておきます。
・mocopi pluginは以下リンクよりダウンロードできます。
https://www.sony.co.jp/en/Products/mocopi-dev/jp/downloads/DownloadInfo.html
・mocopi plugin for Mayaのドキュメントはこちら
https://www.sony.co.jp/en/Products/mocopi-dev/jp/documents/ReceiverPlugin/Maya/AboutPlugin.html
今回は2キャラクター収録なので、mocopiのシェルフボタンを2回押して、mocopi Toolを2つ立ち上げます。
mocopiのシェルフボタンを押すと、
mocopi Maya Toolが起動し、同時にシェルフ側にもmocopiボタンが追加されます。
Live接続する
Mayaとmocopiアプリを通信させ、キャプチャー結果をMayaに流し込みます。
Maya側の「mocopiキャラクター」を生成
Maya側のmocopiToolで「Create character」ボタンを押します。
するとmocopiを流し込む先のスケルトンが生成されます。
通信先のポートをmocopiと合わせる
キャラクターを生成すると、mocopiと通信するためのポート番号が入力可能になります。
ここの数字を通信させたいmocopiアプリ側の数字と合わせる必要があります。
mocopiアプリ側でポート番号を確認するには…
- mocopiアプリで「設定」⇒「外部サービスの接続設定」
- 開いたウインドウの送信ポート設定で確認できます。
- このとき以下の設定をしておきます。
- 送信先⇒「開発・制作ツール」に設定
- 「このPCに接続（ローカルホストに設定）」をチェック
- Maya側の通信させたいmocopiToolのポート番号と数字を合わせる
「Live接続」にチェック
Maya側に戻り、mocopiToolの「Live」にチェックを入れます。
これでMaya側の受信準備は完了です。
mocopi側から送信
mocopiアプリに戻り、「収録モード」から「送信モード」に切り替えます。
緑色の「送信」ボタンをおせば…
Mayaでmocopiのキャプチャー結果が受信され、mocopiジョイントが動きました！
ハラショー！
もう一方のmocopiでも同様に設定
もう1体のアニメーションに関しても、同じ工程でMayaとmocopiを繋げます。
Maya上で初期位置の調整
流し込んだ結果をMaya上で確認すると、実際の位置とずれているケースがほとんどです。
これは、mocopiはカメラキャプチャーではなく、「加速度」と「ジャイロ」によるキャプチャーのため、
- 正確なポーズ
- 正確な位置
…をキャプチャすることが残念ながらできません。
そのため、この段階でMaya上でキャラクターのルートノードを移動して、初期位置を合わせておくと確認しやすくなります。
HIKリターゲットでキャラクターへ流し込む
Maya上で自分のキャラクターにキャプチャー結果を流し込みたい場合は、HIKのリターゲット機能を使います。
あらかじめ任意のキャラクターのHIKリターゲットを済ませておけば、HIKのsourceを任意のmocopiキャラクターに指定することでアニメーションを流し込むことができます。
Maya上でアニメーションを収録する
mocopiToolの「Enable Recording」にチェックを入れておくと、mocopiから受信したアニメーションをMayaに収録することができます。
その際、Mayaのアニメーションキャッシュはオフにしておきます。
この状態でMayaのアニメーションの再生ボタンを押すと、アニメーションのフレームが進んでいる間にMaya上にmocopiのアニメーションが収録されます。
※このとき、フレームレンジの幅が収録に十分にあることを確認してください。
収録したアニメーションを確認するには？
mocopiアプリ側の「Enable Recording」と「Live」のチェックを外します。
カレントフレームを収録開始Fに戻し、再生を押すと…
録画が確認できます。
※この際の録画停止と収録再開では、せっかく収録したアニメーションを消してしまいやすいため、十分注意してください。
※詳細は後述の「収録時のコツ」にて。
収録時のコツ
こまめに「ポーズリセット」「位置のリセット」を行うこと
前述の通り、mocopiのキャプチャは位置やポーズを正確に拾うことができません。
そのため、少し収録をするだけでも、ポーズやキャラクターの立ち位置が大きくずれてしまうことがあります。
そこで…
- カットを細かく分ける
- カットのたび「ポーズリセット」「位置のリセット」
…を行うことで、収録精度を比較的一定に保つことができます。
ポーズリセット・位置リセットはmocopi機器のボタンからショートカット入力
装着しているmocopoのボタンを操作することで、「ポーズリセット」「位置のリセット」を手軽に行うことができ、それぞれ…
- 左手首ボタン → ポーズリセット
- 右手首ボタン → 位置リセット
…といった割り当てになっています。
これにより、いちいちmocopiのアプリを操作することなく各種リセット操作を行えるため、とても便利です。
適宜こまめにリセットを行うことが肝要です。
収録停止時の注意点
一度録画を停止し再度再生ボタンを押して収録を再開すると、今でのアニメーションが消えるため注意が必要です。
これは、Maya上のmocopiの収録データが、骨にベイクされたアニメーションではなく、キャッシュ的に記録されるためです。
そのため…
「録画をいったん止めて、今までの収録を確認しよう」
↓
「大丈夫そうなので、収録を停止したFまで進めて、収録を再開だ」
…などといった操作をすると、それまでの収録内容がきえてしまい、残念な結果になります。
一旦収録を止め、再開する際には、今までの収録結果を…
- リターゲット先のHIKキャラクターの骨にベイクする
- FBX出力する
などして、収録内容が消えないようにする必要がある点、注意してください。
なお検証した限りでは、ベイクせずに別名保存するだけでも収録が残っているようでしたが、しかし個人的にはやはりベイクしておいた方が安心ではないかと考えています。
折角の工数が水の泡になるよりはマシですよね。。（汗）
センサーに衝撃を与えると破綻する
収録中、手足や障害物に当たってしまうなどmocopiに強い衝撃が加わると、ちょっと面倒です。
こうなるとキャラクターのポーズが破綻してしまい、さらにこの状態に陥るとポーズリセットでは復帰できず再キャリブレーションが必要になります。
つまり収録を一旦停止して、mocopiのキャプチャをキャリブレーションから再開することになるわけです。
前述の「収録停止時の注意点」もあるため、気を付けたいところです。
実際に使ってみた所感
mocopiが苦手なところ
位置キャプチャーの精度は弱い
やはりmocopiはカメラなどによるマーカーの位置をキャプチャしたり、人体をトレースしてポーズをキャプチャするものではないため、位置関係の正確なキャプチャーには不向きな印象でした。
そのため、キャラクターが接触するアニメーション、例えば「抱っこ」や「おんぶ」など…、キャラクターの正確な接触位置が取れず、ずれがでてしまいます。
地面から離れるアニメーションも厳しい
また両足が地面から離れると、ストンと落ちる現象もあり、段差などのアニメーションのキャプチャーがうまくいきません。
※同様の理由で、おんぶ・抱っこのアニメーションも、パートナーがストンと落ちてしまっているのがわかります。
位置のキャプチャ結果は後工程での修正・補完が前提か
これらの位置関係の問題はmocopiの仕様上収録時の工夫で何とかするのは難しいとのこと。
実際の制作フローにmocopiを導入する場合には、これら位置のキャプチャに関する諸問題についてはキャプチャー後にTool上での修正や補完を行うことが前提になりそうです。
※コンストレイントや一部ごみとり修正をかけ、「それっぽく」したもの。
激しい動き・ゆっくり過ぎる動きが苦手
mocopiの特徴として、
- 激しすぎる
- 早すぎる
- 遅すぎる
…といった動きはやや苦手な印象です。
このような動きはmocopiの加速度・ジャイロのセンサーを狂わす原因となってしまい、結果として…
- ポーズ破綻
- 姿勢や位置のズレ
が起こりやすく感じました。
そのため、複数キャラクターのキャプチャーだからといっても…
- 高速なアクション
- 激しいダンス・バトルモーション
などの活用には少々難ありな印象です。
mocopiの得意分野
それでも「場所を選ばない」のは強い
一方mocopiの強みは、やはり「カメラ不要」であることが挙げられます。
レシーバーとmocopiの通信が確立していれば…
- カメラ位置を気にする必要がない
- 動きや場所の制限がなく、自由に動ける
といったことが可能になりました。 どこでも手軽にキャプチャができる、というわけです。
磁気式でないのは、スタジオ環境では有利かも
あと、個人的にうれしいのは、「mocopiは磁気式じゃない」ということです。
開発スタジオでは天井や床下にたくさんの電源コードやLANケーブルが詰まっていたり、開発用のwifiが飛び交っています。
大分前に他社製品の磁気式モーションキャプチャー機器をスタジオでテストしたことがあるのですが、これら電子機器の干渉の影響でテスト収録がうまく進みませんでした。
特に足首が床下の電子機器の影響でクルクル回ってしまい、難儀した記憶が残っています。
一方mocopiは磁気式ではないので、これらの影響の心配がありません。
スタジオや会議室で収録しても、在宅環境のリビングでテストしても、安定した結果を得ることができました。
このような、「場所を選ばずに収録できる」ことはmocopiの大きなメリットとして感じています。
息遣いや動きのタイミングはしっかり収録できる
キャプチャテストして感じたこととして、確かに位置やポーズは正確に取れないのですが…
- 演者同士の呼吸
- 動きのタイミング
- 人間らしい間
などが自然に収録できた、ということです。
カットとカットのちょっとした合間で、演者の「人間臭い動き」「息使い」「自然な会話の様子」が自然に収録されていて、とても印象深かったです。
※こちらの動画は去年テスト撮影したmocopiのダンス動画の「合間」。（弊社AGに踊ってもらいました。
※ﾊｧ~…みたいな脱力感と腰トントン…が非常に人間臭くていい味出してます（笑）
ゲーム開発現場における今後の活用展望？
そのため…、
- カットシーンのモック
- 会話モーション
- モブキャラクターのモーション
- 軽めのダンス
などの制作においては有効な手立てになりうると思われます。
特に「自然な人間っぽさ」を手軽に収録できるのは魅力です。
まとめ
今回のmocopiアプリの更新で、mocopiによる「複数キャラクターの同時収録」のハードルをぐっと下げたことは確かです。
確かにmocopiの弱点、
- 正確なポーズは収録できない
- 接触や位置・高さのキャプチャーには難がある
- 激しい動き・遅すぎる動きが苦手
…といったmocopi特有の弱点があるのは確かです。
しかし、
- モック収録
- 仮モーション
- トレース前提
- 演技参考
など、「データをそのまま使う」のではなく「元データとして使う」といった運用が有効で、
うまく活用することでアニメーションの作業工数を一部削減することも可能かもしれません。
あと、やはりmocopiの利点・強みとして特筆すべきは「親しみやすいデザイン性」だと思います。
他社製品と比較してもゴテゴテしておらず非常にシンプルなデザインで、使い方や装着方法もとてもシンプルなので、
気軽に「ちょっと使ってみようかな」という気にさせます。
また今回の検証では通常版mocopi（6点）で2キャラクター収録を行いましたが、12点構成のPro版であれば、さらに精度向上も期待できそうです。
興味がある方はぜひ試してみてください。
では、本日はこの辺で。
さよなら、さよなら、さよなら～～～。
