Live-Action VFX - Part 1 – Akira Nakayasu / Lectures

Materials

Blender

Live-Action VFX - Part 1

Updated: 2026-05

1. ゴール - 日野怪獣A

本演習では、都立大学日野キャンパス北側道路をmixamoキャラクターが歩いている合成を行う。下映像はEeveeでHDRIなし、Sun Light２つ（上と前）の照明。Compositeに失敗して影が濃い。

2. 作業の流れ

Note: 覚えること、試行錯誤すること多い

3. 素材の準備

3.1 素材映像データのダウンロード

kibacoのお知らせ経由で配布する。 hinoA_20240917.mp4.zipを解凍。ファイル名：hinoA_20240917.mp4

3.2 mixamoキャラクターのダウンロード

https://www.mixamo.com/
Character: PUMPKINHULK L SHAW
Animation: Mutant Walking
- Overdrive: 0
- Character Arm-Space: 60
- Trim: 0-99
- In Place: チェックなし（Root Motion）

ダウンロードファイルの名前を設定がわかるように変更しておく。

（変更前）Mutant Walking.fbx　→　（変更後）Mutant Walking_RootMotion_0to99.fbx

4. Blenderの準備

4.1 Blenderの起動

Blenderを起動して、Cubeは削除しておく。

プロジェクトファイルを任意の場所に保存する。

4.2 Blenderの各種設定（任意）

4.2.1 GridやAxisの表示設定

下記設定後、必要に応じて、PresetやPreferencesをSaveする。

Gird
- Preferences > Themes > 3D Viewport
  - GridのColorやAlphaを変更　※Alphaの変更は使えるかも（下図）
  - 必要に応じてUnitを増やせばグリッドの本数を増やせる（下図）
Axis（Gridの色の影響の方が大きいのであまり変更しても意味はない）
- Preferences > Presets > Use Interface Axis & Gizmo Colors
  - Alphaはない

4.2.2 Undo回数の設定

必要に応じてUndo回数を増やしておく。

Preferences > System > Memory & Limits
- Undo Steps: 64（初期値は32、あまり大きすぎてもメモリを食うので100程度まで）
- Global Undo: ON（初期値OFF、マニュアルではONが推奨されている）
- 参考）
  - System(システム) - Blender 4.2 Manual
  - Ｂlenderでアンドゥ(Undo)ができない時の対処法 | アニナレ｜スマートアニメーション

5. Motion Trackingの準備

5.1 Motion Tracking Workscapeの表示

ワークスペースの一番右の「＋」（Add Workspace）をクリックする。メニューのVFX > Motion Trackingを追加する。

Motion Tracking Workspaceが表示される。

5.2 素材映像の読み込み

Movie Clip Editor（真ん中パネル）の中央のOpenをクリックして、hinoA_20240917.mp4を読み込む。

5.3 Output PropertiesをFootage Settings情報に合わせる

サイドバーのFootage > Footage SettingsのResolution（1920 x 1080）を確認
- Output Properties > Format > Resolution XとYを合わせる（今回は同じなので不要）。
サイドバーのFootage > Footage Settingsのフレームレート（30fps）を確認
- Output Properties > Format > Frame Rateを30fpsに変更。

5.4 Track Clipの設定

Set Scene Framesをクリックして、End Frameを映像データに自動で合わせる（250→180）
Prefetchをクリックして、映像データをメモリにロードする
- これにより映像の再生をリアルタイムに行うことができる
- 解像度が大きい場合は部分的にしか再生されない　→　メモリ増設必要
映像プレビューは必要に応じて、Wheelスクロール（スケール）やWheelドラッグ（移動）を行って見やすいように調整する

6. Markerの追加とトラッキング（自動）

※解説のみ

自動は万能ではなく、手動の自動化であり、エラーは逆に多数起こる。
手動の編集時にエラーを再調整や削除する作業の自動化も同時に理解する必要がある。
エキスパート向きであり、初心者は手動で一つ一つ丁寧にトラッキングした方が成功しやすい。

参考

CG WORLD.JP - 連載　はじめよう！踏み出そう！VFX！

7. Markerの追加とトラッキング（手動）

Note: 少なくない試行錯誤が必要

7.1 作業内容

7.2 Tracking Settings

以下、初期値から変更なし。

Pattern Size（特徴点のサイズ）：21 px　※初期値のまま
Search Size（特徴点の検索領域サイズ）：71 px　※初期値のままだが、トラッキングが止まる場合に手動で変更する
Motion Model: Location
- メモ）カメラワークが入る場合はRotationやScaleも含める場合がある。今回の撮影データではうまくいかなかった。
- メモ）PerspectiveやAffineは物体トラッキング用だと思われる
Match：Keyframe
- メモ）今回はPrevious Frameは使うとうまくいかないが、撮影データによってはPrevious Frameの方がよい場合もある。特にFloor設定がうまくいかない。
Prepass：チェックを入れる
Normalize：チェックを外す
- メモ）多くのYouTubeではNormalizeが利用されているが、今回の撮影データでは

7.3 一つ目のMaker

7.3.1 Marker追加場所のコツ

High contrast objects　コントラストが高い部分
Not localaized in one area on screen　画面内で一箇所に集中しない＝分散して散らばっている
Obejects close and far away　近い場所や遠い場所＝距離も分散
草木やその影は風の影響で静止していない場合があるので注意
フェンスはカメラが動くと後ろの画像が変化するのでマーカー場所には適さない

7.3.2 IN〜OUTの中央付近に時間インジケータを移動

映像のIN〜OUTで常に常時されている部分を確認する
- カメラの移動によって消える部分にMarkerを追加すると途中までしかトラッキングされない
- トラッキング情報としては利用されるが精度の高いものではなくなるので、少ないポイント数のトラッキングの場合は常時表示されているポイントにMaker追加する。

7.3.3 一つ目のMakerの追加とトラッキング

電柱交差部分にCmd+左クリックしてMarkerを追加する。
Markerの中心付近をドラッグして微調整できる。
TrackタブでPattern（特徴点画像）を確認できる。
失敗した場合等、Xキーで削除できる。

補助情報を表示するために、Clip DisplayをクリックしてMarker DisplayのSearch（OPTION+S）、Info、3D Markesにチェックを入れる。

下図アイコンをクリックして、前方にTrackingする。

下図のようにトラッキングされる。
もし、途中でトラッキングが止まった場合は、1フレーム戻り、Search Sizeを調整して再トラッキングする。
このとき、ポイントがずれていたら修正する。

時間インジケータをPattern Size（もしくはSearch Size）が表示されているフレームまで移動する。

前方トラッキングボタンを押す。

途中でトラッキングが止まった場合は、下図のように全てのフレームがトラッキングされるまで調整する。

7.4 Maker表示のロック

Clip Display左側の鍵アイコン（下図）をクリックor Lキーで、再生時のプレビュー表示を選択したMakerに追従させることができる。この表示でトラッキング状態を確認することができる。

7.5 残りのマーカー追加とトラッキング

Motion Trackingには8つ以上のMarkerが必要
毎回、IN〜OUTの中央付近のフレームに移動してから、前後にトラッキングする
下図の10点にMarkerの追加とトラッキングを行う。
最低8点で分析は可能だが、FloorやOriginの設定に必要なマーカーも追加している。
試行錯誤の結果なので、撮影した映像によって異なる。
特に中央ラインや地面のマーカーはズレやすいので何度も修正しながらトラッキングする。

8. Solve（カメラの動きの解析）

8.1 現在の作業

8.2 撮影カメラのセンサーサイズと焦点距離

Note: カメラの焦点距離に関しては、自動解析の方が分析精度が良かったため、8.2.2の方法で行う

8.2.1 被写界深度の指定（紹介のみ）

右のSidebarのTrackタブを下図の数値に変更する。

Sensor Width: 35mm
Focal Length: 29mm（35mm換算） ※今回利用したカメラはiPhonne 8 Plusの２つのカメラの内の広角カメラ（ネットで上記数値を調査）

次に左のToolbarの以下の数値に変更して、Solve Camera Motionをクリックする。

Keyframe AはIN点のフレーム
Keyframe BはOUT点のフレーム上記はIN点、OUT点でなくとも、カメラが移動して構図が大きく変わっている２つのフレームであればよい。 演習では下の8.2.2の方法で行う

8.2.2 被写界深度の自動解析

Keyframe A、Keyframe BをIN点、OUT点に合わせる
- ここでは以下の設定
  - Keyframe A: 1
  - Keyframe B: 180　※Out点に合わせていないとFloor設定がErrorになる確率が高い
- 分析精度が低ければ、異なるフレームで試してみる
Focal Length: ON（被写界深度の自動解析）
Optical Center: ON（光心の自動解析）※あとから手動指定可能

Solve後にサイドバー > Tackタブ > Camera > Lens > Focal Lengthを確認すると、解析数値が確認できる。下図では31.82mmであり、カメラ仕様の29mmとは異なる。どちらが正しいかは難しいところだが、レンズやCCDには何等かのフィルターが実装されている可能性があり、それが影響していれば仕様の数値からズレている方が実態に近い可能性もある。

8.3 Solve Error

Sidebar上にSolve error（下図）が表示される。この値が小さい方が望ましいが0.5以下程度であれば問題ない。 error数値が大きい場合は、トラッキングポイントを見直して再分析を行う

分析後は、Marker毎のAverage errorがSearch Area下に表示される。

Movie Clip EditorのTrackingパネルにはエラーが大きい順にTrack情報が表示される。必要に応じて選択・削除を行う。 Movie Clip EditorのTrackingパネルとMovie Clip EditorのClipパネルのプレビュー表示上ではMarkerの選択操作にクセ（連動しないので、一旦ClipパネルのMarker選択を解除する等）があるので注意。

メモ）左のAnnotationタブでDrawした範囲でSolve範囲を設定できるが、狭くすると解析結果が悪くなる。フレーム毎にAnnotationを描画し直す必要もあるので、エキスパートでないと難しい。
試行錯誤のポイント
- Key frame A, Bを変えてみる（例：10と170とか）
- Focal Lengthを自動もしくは固定
- エラーの多いトラックを削除して、やり直す
- 最初から全てのトラックをやり直す

9. 解析結果をシーンへ反映

9.1 作業内容

9.2 シーンへの反映

Solveパネル > Scene SetupのSetup Tracking Sceneボタンを押す。

トラッキング結果がシーンのCameraに反映され、CameraのBackgroundに映像（不透明度50%）が設定される。

9.3 Floor設定

SHIFTを押しながら3つのMarkerを選択
Solveパネル > Orientation > Floorをクリック
下図右上のように原点が移動及び回転して調整される

Floor設定のエラーが起こった場合

Three tracks with boundles are needed to orient the floor
Solveしていないか、エラーの大きいトラックを選択している
Keyframeを変更してSolveし直してみる

9.4 Origin設定

中央ラインのマーカーを選択
Solveパネル > Orientation > Set Originをクリック
下図右上のように原点が移動する

9.5 シーン作成の準備

ここの作業にもコツがいる Layoutワークスペースへ切り替える。

Viewport Overlaysの以下にチェックを入れる。

Motion Tracking
Camera Path
Marker Names

View視点を変更して、Marker等を確認してみる。

3D Viewportの視点を変更した場合はBackground映像が表示されないので、下図アイコンをクリックしてCamera Viewに戻す。

Preferences > Themes > 3D Viewport > Gridの不透明度を上げる（任意）。戻る場合は下図右上のResetを押す。

Cubeは非表示にする。
OutlinerのCameraもしくは3D Viewportのカメラ構図の縁をクリックして、Cameraを選択する。

Transform Pivot PointをMedian Pointから3D Cursorに変更する。

R、Zでカメラ位置を3D Cursorを中心に横方向に回転させる。
下図のようにY軸 or X軸が中央ラインに合うように調整する。
回転単位が大きい場合はSHIFTキーを押しながら微調整する。
以下は初心者はやらない方がよい
- チルトなのか全体の上下なのか分かりづらいのでズレが大きくなる可能性がある
  - 必要に応じて、R、Yでカメラをチルト方向に回転や、G
  - 時間インジケーターを動かすと、チルト側のズレ度合いがわかる。

必要に応じて、Viewport Overlays> Guides > Scaleを小さくする（0.4程度）とグリッドが細かくなる。

FloorにあたるGround Planeを選択して、SとX or Yで疑似道路を作成する。再生して道路がある程度合ってることを確認する。大幅にずれている場合はマーカー追加からやり直したほうがよい。経験値があれば、カメラの回転で調整も可能だが、初心者がやると逆に大きくずれてしまう。

必要に応じて、Transform Pivot PointをMedian Pointに戻しておく。

中安個人メモ　blendファイル）blender_files_tracking_test3 > hinokaijuA_trackingTest3_w9.blend

10. シーン作成

10.1 作業内容

10.2 PUMPKINHULK（任意）を読み込む

3.2のダウンロードしたMutant Walking_RootMotion_0to99.fbx（名称は変更したもの）を準備する。 File > Import > FBXもしくは3D Viewportにドラック＆ドロップして読み込む。

10.3 歩く方向とサイズの調整

サイズの調整：Sでスケール
歩く方向：R、Z、-90で回転
歩き始めのスタート位置：Gキーで移動
- カメラを選択してG、Yキーでもよい現時点では目処でよい。影や照明の設定した後で再調整する。

10.4 ループアニメーション設定

mixamoキャラクターをループアニメーションする複数の方法の方法③で、前方に歩くアニメーションを設定する。演習進捗メモ）方法④（In Place）の演習は行ったが、方法③（Root MotionのMake Cyclic）はまだやっていない

11. blendファイルの保存

これ以降の作業はCyclesレンダリングとEeveeレンダリングで異なるため、この時点のblendファイルを保存して、これ以降の作業は別のblendファイルを保存すること。

中安個人メモ）blender_files_tracking_test3 > hinokaijuA_trackingTest3_w12.blend

Nonlinear Animation (NLA)Live-Action VFX - Part 2