Unity触って1年でバーチャルライブをやるようになるまで

6:51 AM , ,

 皆さんこんばんは、今日は先日開催されたclusterイベント勉強会用に作った資料をブログにまとめることにしました。尚、当記事はclusterイベント用なので個人勢がバーチャルイベントをやる想定で書いています。企業勢はOptitrack・ViconやXsensを使ってると思うので当記事はスルーしてください。




イベント自体のアーカイブはこちらをどうぞ。

皆さんとても勉強になる事がいっぱいです。










さて、今日話した内容の一枚目は自己紹介。
最近自分でも何屋なのか良くわからなくなりますが、去年色んな助成金の申請書類作ってて思ったのは、自分は「作家業」というのが一番しっくりくるようです。


自分とVR業界の設定は2016年頃からで、最初はAfterEffectや実写系が中心でした。
18ifというアニメのティザームービーをVRで製作する案件などでビジュアルアーティストとして参加しましたが、当時はUnityもUEも触ってなかったので全部AfterEffectで製作していました。今見返しても、よくこんなのAfterEffectで作ったなーと思います。




実写VRカメラマンとしては色々ありましたが、一番記憶に残ったのはダライラマ法王をVRビデオで撮った時ですね。こういう歴史的な動画は、いつかVR史料館みたいなものができたら元データ寄贈しようと思っています。



その後もVR関係はぽつぽつと案件あれどなかなか縁がなかったのですが、2020年のコロナ禍の結果多くのイベントがデジタル化を余儀なくされ、急遽自分もUnityと向き合う事になりました。

なので、Unityをちゃんと触り始めて一年ぐらいでバーチャルイベントをやるようになったので、これからバーチャルイベントをやりたい！という人は今からでもどんどん飛び込みましょう。



次に自分とclusterの関わりですが、去年5月頃にコカレロバーチャルというチャリティークラブイベントをチームのみんなと一緒に開催しました。
当時は今と同じく、緊急事態宣言で飲食店やライブハウス等が全部閉まっていたので、苦境にあえぐ音楽業界を救うために企画されたクラウドファンディングとの連動イベントでした。



その後、元々VJとして定期的に関わっていたPOiNT のバーチャルイベント化を成行で手伝うことになり、今にいたります。

POiNTライブを見てみたい人はこちらのプレイリストをどうぞ。










さて、ここから本題に入ります。
所説あると思いますが、自分はバーチャルライブのコアは曲だと思っています。
特にVRはCGで何でも作れる分、曲の世界観をどれだけ深堀できるかが重要です。


上の図では3セクションにざっくりわけていますが、大規模案件になると当然もっと細分化されていきます。現在のclusterは企業勢は入れないので個人勢で想定すると、各セクションに一人ずつフリーランスが集まると何とかなりますが、凄い頑張ったら一人でもできるかもしれません。ちなみに自分は、アバターとかは完全に人任せです。



毎年のように新商品の出るモーキャプ業界なので、きっと半年後にはこの情報も古くなっていますが、記念碑的に残そうと思います。（この記事書いたのは2021年1月）

まず、モーキャプは主に
・動画検出式
・ViveTracker
・慣性式
・光学式
・Depthセンサー

に分類されます。

ThreeDPose Tracker


2020年の一番の進化は動画検出式で実用的なアプリが出てきた事ではないでしょうか。
Twitter界隈でだいぶ有名になってきている ThreeDPoseTrackerがその代表例です。
Aoyagiさんという物凄い人が、突如Githubに無料公開して革命を起こしました。
いや、ほんと凄いですよ、このソフト。3000円のwebカメラでかなり正確にモーションが撮れます。




ThreeDPoseTrackerでググるといっぱい驚愕の動画が出てきます。

しかもこのデータ、BVHで書き出しができるので変換すればUnityにも使えます。

自分も使ってみたところ、簡単なモーションだったら綺麗にとれてました。びっくり。





ただ、欠点も若干ありまして

・複数人が同時にフォーメーションを組むダンスなどに向いてない

　（一人ずつのモーションなら結構とれた）

・回転が多いとたまにグチャル・・・




というわけで、複数人が同時に回転するバレエには不向きだったので見送りました。

RTX2060のノートPCでほぼ30fps出ていたので、将来GPUがもっと進化していくとどんどんリアルタイムで使えるようになるのではと期待大です。


ばもきゃ＋EVMC4U

自分の周りでは使ってる人をなかなか見かけませんが、ばもきゃ＋EVMC4Uはとても便利な組み合わせです。Segmentation Faultさんがとても細かい記事を書いてくださっていたので、記事の通りに書いたらできました。

とても便利なシステムだったのですが、やや問題もわかりました。

どうも、足が頭より上にあると変な補正が入ってグチャルようです。

このシステムでモーキャプするにはOSC機能が必要になるのでバーチャルモーションキャプチャーは先行版が必要になります。毎月300円かかりますが、他の機器が何十万円もするのと比較すると月300円なんてタダみたいなものですね。個人勢でバーチャルライブやるならバーチャルモーションキャプチャーはホントお勧めです。

なにせ、普通のダンスだと頭より足が高くなる事なんてないですから。

しかし、今回は頭より高い位置に足が上がるバレエ。

残念ながらバモキャシステムも要件に見合わなかったので次の方法を探します。


Polygon

グローブで有名なManusの出しているモーキャプ用ソフトです。
ソフトの完成度も高そうなので期待大ですが、まだ実験する機会がないので、今度検証するタイミングがあったらレポートあげようと思います。




Optitrack




Optitrackは本当に便利です。光学式なのでフォーメーションもばっちり。

しかし、一式揃えようとすると数百万かかり、スタジオレンタルだけでも1時間10万前後するので個人勢には遠い壁です。

法人案件にはとても良く、クリエイティブディレクターとして関わったDEARKISSバーチャル等のcluster外の案件ではOptitrackも使っています。




非公式イベントでチケットが売れなかったり、法人案件のワールド持ち込み等諸々の規定があるので現状clusterで企業系バーチャルイベントを開催するのは難しいですが、いつか規制が緩和されたらこういうイベントもclusterで開催したいなと思います。

Neuron


ググると色んな批評が出るNeuronですが、実際使ってみると、それほど悪くないという印象でした。
確かに磁気の影響受けやすかったり、足が浮いたり、メンバー間の距離やジャンプの高さを検出できなかったりと細々した問題点はりますが、それでもこの値段で一式全部とれるのは凄いことです！
ViconやOptitrackフル装備のスタジオレンタル代が1時間10万円前後なのと比較すると、買っても20万円というのは破格ですね。
競合（？）となってるXsensはソフトウェアのライセンスが年間600万近くするので、個人系では全く手が出ません。


POiNTの時は、販売代理店のアユートさんの御協力で機材をお借りして収録することになりました。

モーションも無事FBXで撮れて目出度しと思いきや、ここからが深く険しい道の幕開けでした。。。



さっそく立ちはだかる壁がモーションの補正です。
こんなに多くのモーキャプ機器があるのは何故か、それは、モーション精度は露骨に機材予算に比例するからです。

個人で動きが少なければバモキャで十分なのですが、チームで動きが激しいと、Neuron使ってもどんどんズレていきます。

そこで必要になるのがモーションを補正するソフトです。


UmotionPRO

モーション修正と言うとCG業界ではMotionBuilderがメジャーですが、そんな予算は個人系イベントにはありません。ここはUmotionProという60＄のアセットで乗り切ります。

UmotionPro自体はチュートリアル通り作業するとサクサク動いてくれます。

調整レイヤーも作れるので、

・モーション全体で首の角度をちょっとだけ微調整したい

・腕だけちょっと体から離したい

といった微調整も簡単にできます。

例えば、ステージを高くするか客席を高くするか収録時に決まっていなかった場合は、目線の位置を調整するのに首を全体的に角度変えたりします。

また、生身だと腕を体にぎゅっと近づける動きはよくありますが、VRMでこれをやると盛大に体に腕がめり込むので補正が必要です。

これらのモーション全体に均一に補正をかけたい時に便利なのが調整レイヤーです。


そんな便利なUmotionですが、一個だけ問題点がありました。それが


FBXじゃないとプレビューが反映されない！！！


という問題です。

日本ではVRMがどんどん主流になってきていますが、世界ではVRMの知名度はまだまだなのでVRM標準対応はしてくれません。

そこで解決策として

1．Humanoid型3Dモデルをダウンロードしてモーションの確認用に使う

2.VRMをFBXexporter使ってFBX化する


という二通りの方法があります。

Humanoid型３Dモデルの場合、Unityちゃんの３Dモデルが最も手軽に入手できるので便利です。

VRMをFBX化してもブレンドシェイプ等はそのまま使えたので、試してみて問題がなければFBX化がシンプルでしょう。


LipsyncPro





VRM、Lipsyncと普通に検索していくとたどり着くのがOculus Lipsync ですが、残念ながらこれはclusterでは使えません。Unity上のプレビューでは問題なく動いているのに、意気揚々とアップするとclusterでは全くリアクションしてくれません。

同様に、SalsaLipsync　もUnity上では動きますが、clusterにアップすると無言勢になります。

スクリプトで動かす系は残念ながら全滅なようなので、おとなしく全部手打ちします。

LipsyncProの場合、音声ファイルをもとにざっくりとしたキーフレームも出してくれるので多少は楽になります。リップシンク回りや表情回りは自分は苦手なのでほぼ丸投げしています。


まとめ


色々書いていましたが、チームで高速回転する特殊な演目でなければ、ViveTrackerやwebカムだけでも結構どうにかなる環境がだいぶ整ってきています。

clusterのCCKは本当に優秀なので、個人勢でも情熱と時間があればclusterでバーチャルライブはガンガンやれます。

2021年初の現状ではVtuber = youtubeから生まれるもの、という概念が主流ですが、clusterやVRCのようなVRsns発のVtuberがメジャーになっていってこそVR新時代だと自分は思っています。

この記事が新しいVR文化の役に立てば幸いです。







Post a Comment

No comments

Subscribe to: Post Comments ( Atom )
Powered by Blogger.