Audio Reactive ver.2 - Part1

Part 2へ進む
1. オーディオリアクティブ表現とは
音に反応してビジュアルをリアルタイムに生成する表現手法であり、古くからMacやWindowsのメディアプレイヤーにサウンドビジュアライザーとして搭載されていることが多い。オーディオリアクティブなコンテンツを制作するツールとしては、After Effects、VJ系ソフト、Cycling’74 Max、Unity、近年ではウェブサービス（一例：https://musicvid.org/）も存在する。
オーディオリアクティブ表現は、広い意味ではオーディオビジュアルアートの中にも含まれるが、オーディオリアクティブはリアルタイムに音データを解析してビジュアル化するものであり、編集によってオーディオビジュアルとしての相乗効果を生んでいるものとは仕組みが異なる。作品制作の上ではこれらの手法を組み合わせて制作しているものも多く、近年では照明やロボット技術との連動など、多様な表現手法が生まれている。
2. 今回の演習
TouchDesignerを利用したAudio Reactive表現に関する演習を行う。
下映像の楽曲は演習とは異なる。
参考）その他のチュートリアル
画像を疑似3D化した上でHeight Mapの変化量に音の大きさを適用したもの。
https://old2-lecture.nakayasu.com/index_p=2544.html
他にも、YouTubeで「audio reactive touchdesigner」で検索すれば、様々なチュートリアルを見つけることができる。
Stable Diffusionを利用したAudio Reactiveの事例もある。
3. 準備
3.1 実験用画像データの準備
実験段階で東京都立大学のロゴを利用する。都立大学生はダウンロード可能。授業内で指示する。
3.2 楽曲データの準備
YouTube Studioのオーディオライブラリからダウンロードする。今回は音の大きさのみを解析するため、音の大きさのメリハリのあるもの（静かな部分とリズムが入るくらい）が合いやすい。
今回はアンビエントジャンルのBeyond（下図）を利用する。
3.3 作業フォルダの作成
下図のように任意の名前のフォルダを作成して、楽曲データ、画像データ、TOEファイル（TouchDesigner Environment file）を整理する。
3.4. TouchDesignerの起動
TouchDesignerを起動後、サンプルデータの削除、左のパレットを閉じる。

Fileメニュー > Saveから、作業フォルダにtoeファイルを保存する。
4. 画像へのオーディオリアクティブ
4.1 都立大ロゴ画像の表示
・Movie File In TOP
　　Fileからバナナ画像（Banana.tif）をtmu_logo.pngに変更する
・Transform TOP
　　Background Colorを1, 1, 1, 1で白に変更する
　　Comp Over Background ColorをONにする
・Out TOP
　　必要に応じてDisplayボタン（Background表示）をONにする
4.2 回転実験（任意）
※実験後、削除する
・LFO CHOP
　　Type: Ramp
・Math CHOP
　　To Range: 0〜360
・Null CHOP
　　Transform TOPのRotateにパラメータリンク（CHOP Reference）
パラメータリンク元を含むオペレータを削除する場合は、リンク先のオペレータのスクリプトを表示させて削除する必要がある。
4.3 音の大きさの解析
・Audio File In CHOP
　　Mono: ON
・Audio Device Out CHOP
　　再生したままミュートにしたい場合はBypass（矢印アイコン）をクリック
・Analyze CHOP
　　Function: RMS Power
・Trail CHOP
　　数値変化の確認用
4.4 音の大きさをロゴのスケールへ反映
・Math CHOP
　　To Range: 0.9〜1.2程度に変更
・Null CHOP
　　Transform TOPのScaleへパラメータリンク

↑Back to Top