アニメ、3DCG動画そしてワードプレス作成役立ち情報

2020年08月22日

MMD自動化ツールで作成されたVMDを動画にして再生・元動画と比較

MMD自動化ツールで作成されたVMDを動画にして再生・元動画と比較

前記事では、OpenPoseを使ってAI（深層学習）による人物ポーズ可視化の
例を紹介しました。

自分で作成していた動画2例に適用して、関節点検出をうまく行えている
ことが確認できましたが、私の目的は、そうして検出したデータをモーション
ファイルに変換して、3DCG動画に適用することです。

自分の動きをWebカメラで撮影した動画を利用することも可能ですから、
モーションファイルへの変換ができれば、いろんな動きをとらせた動画
の作成に繋がっていくことも期待できます。

ということで、特殊な機材を必要とするモーションキャプチャーを使用する
ことなく、カメラ１つだけで、動画→モーションファイル変換可能なツール
として、既に公開されている「クラウド(colab)で MMD自動トレースをやってみた」
の方法で、実際にうまくいくか否かを試してみました。

結論を先に述べておくと、「え！？こんなに簡単に出来てしまうの？」と
いうぐらいスムーズに作業が進みました。
やり方は、既に上で紹介しているHPで詳しく解説されていますので、
ここで改めて取り上げることはしません。

準備するものは、

●動画
●Google Chrome
●Googleアカウント

ぐらいです。

以下が自動化ツールへのリンクです。
但し、Colaboratory に GitHub API の使用を許可することが必要です。

【colab版MMD自動トレースへようこそ！（準備編）】

【colab版MMD自動トレースへようこそ！（実行編）】

準備編で、colab（Google colaboratory）の操作方法を学習してから開始
しますが、特に難しい操作はなくて、クリックし、確認し、次から次へ
進めていったらＯＫという、使い手に優しいツールでした。
日本語が読めれば、迷うことはないでしょう。

今回は、以下の「踊ってみた」動画を使わせて頂いて最初のチャレンジを
しましたので以下に紹介します。

元動画はコチラ

上記動画から自動トレースで関節点検出した動画は以下

上記で自動で関節情報を検出させた後に自動化ツールで作成された
「vmdファイル」でアニメーションチェックしたのが、以下に示す動画です。

「PmxEditor_0257」にMMD準標準ボーンの追加プラグインを追加して
処理したKisuna AIをモデルにしてモーション（vmd）させている画面
（TransformerView）を動画キャプチャーしたものです。

追加したプラグイン：
SemiStandardBones.dll
SemiStandardBonesPMX.dll

元動画の完全再現には至ってはおりませんが、ある程度それらしく動いて
いるといった感じです。
以下に、元動画のモーションと比較した動画を示しました。

編集すれば、より一層スムーズな動きに改善されると思います。

posted by pegasusmasterweb at 17:38| Comment(0) | 3DCGアニメーション

2020年08月14日

AI（Deep Learning）による人物ポーズ可視化可能なOpenPoseを試してみる

第二波コロナ影響で再び外出を控えている毎日です。
みなさんは、如何お過ごしでしょうか。
梅雨も明けて、外は灼熱状態、そんな毎日、家の中で涼み
ながら、趣味の動画作成に時間を費やしています。
家の中では、マスクを外していれるので気が楽です。

今日は、「OpenPose」の話題です。
AIによる深層学習（Deep Learning）を用いて人物のポーズ
を可視化してくれる（関節点情報の取得できる）手法のこと
です。
OpenPoseは、静止画を入力するだけで人間の関節点を検出
することが可能。

さらにGPUなどの高性能プロセッサを使えば動画像内に
複数人の人物がいても、リアルタイムに検出することも
可能ということで、注目を浴びています。

身体だけでなく、顔と手まで解析可能。激しい動きの動画
でも検出できたりと、かなりの精度があるようです。

これを使いこなせれば、3DCGアニメーションで、いろんな
ポーズ、動きをモデルにとらせることができそうですね。

こうした関節点情報の取得は、実はこれまでも
「モーションキャプチャー」という技術を使えば可能
だったのですが、「人間の身体にセンサーを取り付けないと、
間接点の情報を取得できない」という課題がありました。

OpenPoseの画期的なところは、そうした特殊センサーを
使わなくても、カメラ1つあれば、複雑な解析ができて
しまうという点です。

既に、2018年3月15日付けの「Ledge.ai」のニュース記事
「 OpenPoseとは | ディープラーニングで人のポーズを解析」で
事例をいくつも取り上げて紹介されている近年の注目
テクノロジーといったところです。

この「OpenePose」の導入手順については、以下のHPで詳細
な説明がされています。それに従って導入しました。

● OpenPose 1.5.1 のインストール（Windows 上）

● NVIDIA CUDA ツールキット 10.1，10.0 のインストール
（Windows 上）

● Windows で OpenPose を使ってみる

更に、以下も参考になります。
●技術的特異点：
OpenPoseを使って手っ取り早く姿勢推定をしてみる
(Windows10)
→結果の画像や動画の保存方法、取得した骨格位置などの
　データを数値として出力する方法（他のアプリケーション
　で使いたい場合などには有効な手段）が紹介されて
　います。

過去に作成していた動画を使って、Openposeで解析をさせ
てみたのが、以下の２つの動画です。

Openpose解析の結果を、動画で保存するための手順は、
?@以下のコマンドをコマンドプロンプトに入力
　※私は、NVIDIA GeForce RTX2060を使用しているので、
　　コマンドは「gpu」版を使用しています。

　cd openpose
　bin\OpenPoseDemo.exe --video .\examples\media\AIKO.mp4 --face --hand --write_images .\output_folder\
?A上記により、output_folderに連番画像が出力される
?BIrfanviewで「image###」にファイル名を変換する
?CVegas Pro17.0で動画に変換

※なお、OpenPoseでhandとfaceを同時に使うにはそれなり
　のスペックのGPUが必要となります。

※わたしが現在使用している環境
CPU：　　Intel(R) Core(TM) i7-8700 CPU @ 3.20GHz
　　　　メモリ　8GB
Video：　NVIDIA GeForce RTX 2060（4GB）

【動きが穏やかな動画のopenpose解析】

【動きが激しい動画のOpenPose解析】

動きの激しい後者の場合でも、きちんと姿勢推定が
されていました。顔、手の上方もきちんと得られて
いました。

OpenPoseの導入が無事できましたので、次は、得られた
情報を利用して、動画アニメーション用のモーション
に変換する作業に入りたいと考えています。
そのための良き指南書がありました。　以下です。
● クラウド(colab)でMMD自動トレース(Unityもいけるよ)
　【6/14 ver1.03.06 更新】

ｐｓ：
2020年8月13日現在、上記のOpenPoseテクノロジー
を活用していると思われる製品が既に販売されている
ようです。
但し、法人向けであって、まだ個人向け販売はされて
いないようです。
「 Vision Pose 」

posted by pegasusmasterweb at 00:14| Comment(0) | 3DCGアニメーション

2020年08月12日

録音した音声からノイズをきれいに消去する方法

録音した音声からノイズをきれいに消去する方法

わたしは、このブログでアニメ動画の記事を紹介する
機会が多いです。

自分が動画作成している時に遭遇した問題、そして、
それを解決できた際の講じた対策なども書いたりしています。

アニメキャラクターにリップシンクさせる時に、
バックグランドノイズが入っていると、無音であるにも
関わらず、口パクをしてしまうということがありました。

最近は、ボイスチェンジャーツールが多数提供される
ようになっていて、自分の声を性別に関係なく変更できる
のはいいけど、マイク音声入力なのでノイズを拾って
しまう・・・
そんな悩みもあるかと思います。
そんな時に、試してみて、これは「スゴイ！！」、
実用に耐える！！と感動したツールがありました。

それは、「Krisp」というツールです。
https://bit.ly/3kyRvKE

7万種以上の音声で学習したAIが、ノイズだけきれいに
消去可能という謳い文句で紹介されていましたが、
大袈裟ではなく、本当にキレイに消去してくれます。

下に、それを体感できる動画で紹介していますので、
ぜひ視聴してみてください。

以下は、ホームページで紹介されている内容からの引用です。

●人の声や騒音データを学習させたAIのディープラーニング
技術により、人の声と騒音を高い精度で識別、人の声のみを
送受信できるようにする独自技術を搭載。

●サイレンや叫び声のような通常のノイズキャンセル機能
では認識しにくい音も、この技術を使い、叫び声であれば、
子供の泣きわめいている声は騒音として消去し、大人が
驚いて発している大声は音声として残せる。

●自分のマイク、相手から聞こえるスピーカーの音、
どちらもワンクリックでノイズを消すことができる。

●600を超えるアプリに対応

●好きな入力、出力機器で使える。
手持ちのマイク、ヘッドセット、スピーカーなどで使用可能

●セキュリティも安心。
Krispはすべての音声処理をローカルで実行するので、
音声データが外部に漏れる心配はない。

こうした特徴のあるノイズ消去ソフトであると紹介されています。

しかし、文章だけでは、わかりませんから、実際に、ノイズが
入ってしまった音声に対して、
このKrispを使って、ノイズを消去している動画を作成しました
ので紹介します。

Audacityのノイズジェネレーターで作成した「シャー」という
ノイズを載せた音声を作りました。
この音声を使って「Facerig」でアニメーションを作成したもの
がここで紹介している動画です。

再生を始めると、「シャー」というノイズが聞こえますが、
Krispのアイコンを右クリックして現れるメニューの
「スピーカー」の文字の下に表示されている「ノイズをミュート」
というボタンを右にスライドさせると、Krispが起動します。

と同時に「シャー」というノイズがきれいさっぱりと消去される
のがわかると思います。

ノイズ消去するためのツールとして、これまで「Audacity」や
「Filmora」などを使ってみましたが、ここまできれいにノイズ
が消えることはありませんでした。

すばらしきツール「Krisp」といったところです。
感動ものでした。

せっかくの思い出の録画をしたのに、雑音が入ってしまって
台無し・・・・・とあきらめてしまっているならば、
このノイズ消去ツールを一度試されてみてください。
試す価値、大いにありデス。

タグ：音声ノイズ瞬間消去 krisp

posted by pegasusmasterweb at 09:36| Comment(0) | 3DCGアニメーション

カメラもVR機器も一切使わずに、誰でもバーチャルユーチューバーに