Deepmotion Animate 3D

1. Deepmotion Animate 3Dとは
Animate 3DはDeepmotion社が開発しているクラウドサービス。動画データをアップロードしてAI技術によって3Dモーションを自動生成して、FBXやBVHでダウンロードすることができる。モーションキャプチャ用機器やスーツを必要としない映像のみからモーションを解析することができる。Animate 3Dが有名なためDeepmotio＝Animate 3Dのように紹介される場合もあるが、Deepmotionはあくまで開発会社の名称。Deepmotion社では他にもRealTime Body Tracking、Virtual Reality Tracking、Motion Brainのプロダクトを提供している。
2. 同様のアプリケーション
2.1 Plask
Deepmotion同様の動画データからモーションを解析するサービス。ウェブシステム上で録画、解析、編集まで可能。deepmotionはUIがわかりにくいが、Plaskは洗練されていて使いやすい。動きの品質比較は未検証だが、テスト段階ではPlaskはFPSが低い印象。
2.2 CEB Easymocap Monocular
動画からモーションを取得するBlender用のアドオン。Windows用のみ。
3. Animate 3Dのライセンスの種類
5つのライセンスが用意されている。それぞれ毎月の処理量に応じたcreditsが必要になる。HD映像10秒では10credits、1ポーズ画像は1creditのように処理内容に応じて変動する。Freemiumでは月にHD映像10秒を6つしか処理できないのであまり多くは処理できない。
4. SIGN UP
Animate 3Dのみウェブからライセンス登録可能。他のReal-Time Body Trackingu等のソフトウェアは問い合わせが必要。
Deepmotionサイト右上のSIGN UPからユーザー登録する。
必要事項を入力して、Get Startedをクリックする。
メールのボタンをクリックする。
パスワードと忘れた場合の質問を入力して、アカウント作成完了。
5. 演習の流れ
本演習では、スマートフォン撮影、mixamoキャラクターの利用、Deepmotion Animate 3Dでの解析、Blenderでの確認まで行う。
6. スマートフォン撮影
Freemiumライセンスでは、Full HD（横最大1920px、縦最大1080px）、10秒以内の制限がある。データ形式はmp4、mov、aviのみ。また、モーション解析精度を高めるためには、以下のルールを守って撮影する必要がある。
・No Cartoon Characters：アニメーション映像はNG（ポーズは時間がかかるが処理できた）
・No Loose Clothing：身体の骨格が解析しやす服装、ダボダボな服装はNG
・No Multiple Persons：一人のみ
・No Object Occlusions：身体の一部がもので隠れてはいけない
・No Solid Colored Clothing：全身同じ色ではないこと、手足が露出していたほうがよい
・Human subject in full view...：全身が構図の中に収まっていること
・Good contrast with background：背景と身体の色のコントラストが高いこと
・Camera is 6-20ft from subject：カメラと身体の距離は2〜6m程度であること
ブレが大きすぎなければ手持ちでも処理可能。基本的には三脚撮影が望ましい。屋外で若干草木が揺れていても身体が識別しやすければ処理できた。
7. mixamoキャラクターデータ（FBX）ダウンロード
mixamoの使い方は右URLを参照。　https://lecture.nakayasu.com/mixamo
好みのキャラクターを選択して、右のDOWNLOADボタンを押す。
このときAnimationは外してTポーズの状態。Animate 3DではTポーズしか読み込めない。
Format: FBX Binary、Pose: T-poseのままでDOWNLOADボタンを押す。
8. Deepmotion Animate 3Dでの解析
8.1 Freemiumライセンスの制限
Freemiumライセンスでは30 credits/月の制限ため、HD映像10秒を3つしか処理できない。既に解析したアニメーションのキャラクターのみを変更するRerunsも有料ライセンス以上となる。
8.2 Dashboard
サインイン後は下図のDashboardが表示されるので、左メニューもしくは右のAnimate 3Dをクリックする。Animate 3D以外は有料となるためロックされている。
8.3 Animation Guideに沿って進める方法（今回は不使用）
解析処理を進める方法として、2つの方法が用意されている。
Get Startedをクリックすると、ガイドが表示されてステップに沿って進めていくことができる。
今回はmixamoキャラクターのアップロードを行う必要があるため、右下のSkipをクリックする。
8.4 3D Modelsへmixamo FBXをアップロード
左メニューの3D Models又は真ん中下3D ModelsのView Charactersをクリックする。
下図のUploadをクリックする。今回はCreate（Ready Player Me）は使わない。
（参考）Ready Player Me
3D ModelsのCreateでは、Cross-game Avatar作成ツールであるReady Player Meと連動してアバターを作成することができる。Ready Player Meサイトで作成済のアバターの読み込みも可能。

続けて、下図のDrag and drop 3D modelにmixamoからダウンロードしたFBXをドラック＆ドロップする。
下図が表示されたら、Uploadボタンを押す。
キャラクターの登録が完了したら、下図が表示される。Create Animation又は左メニューのCreateをクリックする。
8.5 スマホ映像のアップロード
スマートフォンで撮影した映像をAdd Video ClipのDrag and dorop videoにドラック＆ドロップする。Freemiumライセンスでは、Full HD（横最大1920px、縦最大1080px）、10秒以内の制限がある。データ形式はmp4、mov、aviのみ。条件に合わない映像に関してはMedia EncoderやPremiere等で調整してからアップロードする。
8.6 アニメーション解析
Viode Outputタブに切り替える。FBX OutputはON。Createキーをクリックする。
「Animation Output」の設定ではGLV、BVH、FBXのみ作成される。プレビュー映像をダウンロードできる状態で作成するためには「Video Output」に切り替える必要がある。「Video Output」でもmp4の他、GLV、BVH、FBXも作成される。
設定確認ウィンドウが表示される。一番下のStart Jobをクリックする。
上部の黄色ステータスバーで消費するCreditsと残量が確認できる。
下図のOKを押して、解析結果をプレビューする。
8.7 FBXのダウンロード
プレビュー映像下のDownloadをクリックする。
Download Animationsウィンドウでは、下のプルダウンメニューから、BVH、FBX、GLB、MP4（Video Output設定時のみ）がダウンロードできる。ここではFBXのままDownloadボタンをクリックする。
課題ではmp4を提出
ダウンロードしたZIPファイルを解凍すると2つのファイルがある。
名称最後に(includeTopse)ががあるファイルは、0秒時点にリギング用T-poseが含まれる。
今回はT-Poseがない方をBlenderで確認する。
9. Blenderで確認
Blenderを起動して、File > Import > FBXで読み込む。
・Shading: Material Preview
・View Ovelays: Bone非表示
・HDRIのWorld Opacity: 0.5
単体であればEeveeでリアルタイムレベルで再生可能。
単純に複製して、チャーリーとチョコレート工場のウンパルンパ風？にしてみた。
10. 参考サイト
・GarageFarm.net - DeepmotionとBlenderによる自動モーションキャプチャを解説
・ゼファーネット - DeepMotionがAnimate 3Dを起動（https://zephyrnet.com/ja/deepmotionがanimate-3dを起動/）
YouTube公式チャンネル
Deepmotionは単体ではモーションデータの解析システムだが、Vroid、Unreal Engine、MetaHuman、Robox等、様々なサービスと連携させることができる。YouTube公式チャンネルにはこれらの応用事例が充実している。
↑Back to Top