December 23, 2014
カテゴリ： 音楽
前回に引き続いて今回は下記読書中の本より音声認識の技術について紹介します.
・C++活用DSPプログラミング
・ワンチップIC/モジュールで試す音声認識&合成(from Interface)
・ハードとソフトをつなぐドライバ&ミドルウェア(from Interface)
【楽天ブックスならいつでも送料無料】イラストで学ぶ 音声認識 [ 荒木雅弘 ]
・音声認識について
音声認識は複雑なアナログ音声波形をディジタルサンプリングし,高速フーリエ変換や畳み込み(フィルタ)等の技術を複雑に用いて収集した要素からプログラムのユースケースに必要な情報を読み取ってコントロールに用いるというのが一連のシステムになる.
これにはディジタルで音を扱う場合に重要なファクターが詰まっているのがわかるだろうか？
波形編集ソフトを扱って波形を見ることができる人がごく一部の人間に限られている中で波形成分から"ここからここまでが『あ』の成分"と自動認識していると考えればその技術が相当すごいテクノロジーであることに気が付くだろう.
リアルタイム音声認識と言うことはハードウェアではDSP等で音声を取り込んでその音声波形から例えば言葉に関連する音波形を保管していく作業から始まる.
人間が『て・ん・き』と発音した場合,口の形を見なくてもそれがイントネーションなどから"天気"を指示していると認識すれば「今日は晴れだね」とか返答ができるわけであるが,それはまず,子音と母音である"TE","N","KI"という言葉の発音を知っていること,"天気"という単語を知っていること,また前後の会話や表情などから相手が天気を知りたがっているという情報を得たいと思っている可能性がある事等を経験記憶等を元に瞬時に分析して返答ができるからである.
しかし,機械的にそれを処理するうえでは非常に難しいことが生じる.
まず,50音全ての文字を配列等にして保管してき,その中の何の文字に該当しているのかを照らし合わせると仮定しよう.
仮に"TE","N","KI"と運よく全てを認識できたとしてそれが天気なのか転機なのか転記なのか全然分からないわけである.
機器が使える機能に絞って天気予報の情報を出せれば運良ければ正解と言うことになる.
これでは精度が悪い.
また,この例えでは文字認識を単純なIF文等でループして"a"⇒×,"i"⇒×とやったように記載しているが良く考えてほしい,キーボードから打ち込んだなら間違いなくコンピュタは"TE"を"て"と認識して取りこぼしなく保管データから照合できるわけだが,それが音声となればもっと複雑である.
"TE"を構成する波形は人によっても周波数もちがければ倍音成分も全く異なる.もっと言えば同じ人が"て"を発音しても録音毎に波形レベルでは全く異なる波形になるのだ.
単純にこの波形と同じ波形と言った判断はできないわけである.
そこで必要になるものの一つに周波数特性等があげられる.
縦軸=電圧(振幅),横軸=時間から周波数成分を抜き出すためにはフーリエ変換等を経て数値化されたデータにする方法がある.
"TE"という発音に含まれる特徴的な周波数や倍音成分,波形の成り立ち等ありとあらゆる情報から判断基準をさまざまな角度から行うことで"e","ke","se"、、、ではなく"te"の成分を最も多く持っていると判断して初めて認識できることになる.
上記文の項目だけでは言葉を認識するに足りない情報かもしれないが,ニュアンス的にはこれらをICでリアルタイムに演算処理してはじき出しているのが音声認識のシステムと言うことになるのだ.
では,これらの知識が電子楽器等にどんな有益があるかを述べてみる.
脱プリセット！ 実用的なシンセの音作り方法、教えます！【千円以上の全品対象5%OFFクーポン・12/28終了】リットーミュージック クリエイターが教えるシンセサイザー・テクニック99【書籍】
まず,いったん声(Voice)から音(Sound)として切り替えて考えてみよう.
近年,発売されるシンセサイザーのほとんどはPCM音源系のシンセサイザーになるわけだが,その波形はサンプリングされているものである.
ユーザが自由に任意の波形を取り込むことができればサンプラーやサンプリング音源と呼ばれるようになるわけで基本的構造は同じである.
サンプリングされた音はデータ容量の制約もあり無限な長さを収録することはできない.
だが,演奏に使う場合は例えばオルガンの音を発音させる場合,トップでEの音をずっと伸ばしながらソロフレーズを弾いたりすることがあると思う.
収録されている音が3秒くらいしかなかったらそのEの持続音はどうやって発音を維持しているのかわかるだろうか？
一言で言ってしまえばループしているのだ.
生楽器における持続音は発音機構が許す限りの長さを維持できる.
ピアノのように音量が減衰する楽器の場合は弦が揺らいで聴感上聞こえるまでが発音可能時間になり,打鍵の強さや湿度などによっても持続時間は変化することになるわけだが電子楽器における波形が同じ構成を強いられた場合は収録されている時間が絶対時間になってしまうことになる.
ピアノの音が完全に消えるまで1音ずつ収録できるほどの大容量なメモリを背負っていれば可能かもしれないが,非常に効率が悪いし,アナログのシンセサイザーのように減衰しない音を作ることができる楽器を収録する場合はいったい何時間収録すればよいのか？という話になってしまう.
それを打開するために使用する技術が波形ループなのである.
生の楽器には音を発音するときに発する特定の周波数や倍音成分にある程度の規則性がある.
音量などは物理的な減衰と密接な関係があるのと同じように,音色を構成する周波数成分にもある程度規則があるのだ.
もちろん,絶対に同じ音を出すことができない自然物理の上で成り立つ楽器はディジタルのような固定成分ではないわけだが,規則的な要素をうまくループさせることで,"生に近い音"を任意の時間分だけ持続させることができるようになるのである.
なので,シンセサイザーでは生楽器では絶対にありえないような物理を完全無視した音色をも作ることが可能である.
例えばピアノのサンプル音でエンベロープジェネレータの構成をオルガンのような形(アタック・リリースがほぼゼロ,ディケイ・サスティーンが最大)に設定すると弾いている間,一切音圧が変化しないピアノの音を発音させることができる事と思う.
ピアノの音としてとらえられる人間の脳には違和感しかないわけだが,このような音色作成の自由度を生むことができる裏側にあるのが波形に含まれる特性より特徴的な周波数成分のループを抜き出している波形ループ技術があるおかげである.
ありがたみが分かりにくい例えなので自然にある音を考えるとオルガンの音を5秒しかサンプリングしなくてもある規則的な成分をループさせることで持続音を再現できれば奏者が演奏に使いたいだけ長く伸ばす音を最小のサンプル量で賄えることになる.
データ量を減らしながらも,演奏に支障をきたさない技術力が,現在のPCM音源をリアルサウンドへと近づけているわけなのである.
大変話がそれてしまったが,ここで重要なのはその波形から特徴的な周波数成分をループさせることができる技術力と言うことになる.
音声認識で母音の波形と子音の波形を分けたりできるということは波形を見れば,発音ごとの波形成分を抜き出せるということになる.
それを逆手に利用すれば波形から特徴的にループできる成分を抜き出してループポイントが生成できるようになれば,オリジナルのサンプリング音源を自由に扱うことができるということになるわけである.
メーカー渾身のPCM音源で十分と言う人にはいらない知識かもしれないが,V-SYNTHシリーズやVariOS等,オリジナルサンプリングにより自由度が増す楽器においては,得たい音がサンプリング波形の要素のどの部分にあるのか,またループポイントをどう作ると違和感なく聞こえるのか等あって損はない知識と言うことになる.
もちろん,玄人向けな話になるので割愛するがPCM音源のエディットでもループポイントを知っていることで解決できることもある.
また,波形編集においてはループポイント作成だけではなく波形の切り貼り一つとっても振幅のどの位置で切り出すと音声的に不都合が低いのか等を考えるうえで波形を見る,解析するという知識は必要になる.
オートメーションでプログラムが認識するという技術的な部分は置いておいても,波形認識の技術はサンプリングの分野をはじめ多くのDAWシーンで有効な知識が詰まっているということがわかるだろう.
ここからは私の推測だが,将来この音声認識技術が発展すればユーザが任意に収録したサンプリング音から,この音声認識技術を応用したテクノロジーが自動ループポイント生成をして知識がない人でもオリジナルサンプリング音源を手に入れられるシンセサイザー,いわば未来型サンプリング音源が確立する時代が来るのではと想像している.
既に現段階で人の声から正確な認識という分野ではメールの文章も声のみで入力可能になっているし鼻歌からの音程分析もできる技術があるわけだが,より精度の高い音声認識技術が確立すれば(既に確立している現状のサーチ方法を高速処理エンジンで動作するだけになるかもしれないが)日常生活でも非常に身近なところで役に立つことだろう.
次回は最終号音声合成とまとめを記述します.
・C++活用DSPプログラミング
・ワンチップIC/モジュールで試す音声認識&合成(from Interface)
・ハードとソフトをつなぐドライバ&ミドルウェア(from Interface)
【楽天ブックスならいつでも送料無料】イラストで学ぶ 音声認識 [ 荒木雅弘 ]
・音声認識について
音声認識は複雑なアナログ音声波形をディジタルサンプリングし,高速フーリエ変換や畳み込み(フィルタ)等の技術を複雑に用いて収集した要素からプログラムのユースケースに必要な情報を読み取ってコントロールに用いるというのが一連のシステムになる.
これにはディジタルで音を扱う場合に重要なファクターが詰まっているのがわかるだろうか？
波形編集ソフトを扱って波形を見ることができる人がごく一部の人間に限られている中で波形成分から"ここからここまでが『あ』の成分"と自動認識していると考えればその技術が相当すごいテクノロジーであることに気が付くだろう.
リアルタイム音声認識と言うことはハードウェアではDSP等で音声を取り込んでその音声波形から例えば言葉に関連する音波形を保管していく作業から始まる.
人間が『て・ん・き』と発音した場合,口の形を見なくてもそれがイントネーションなどから"天気"を指示していると認識すれば「今日は晴れだね」とか返答ができるわけであるが,それはまず,子音と母音である"TE","N","KI"という言葉の発音を知っていること,"天気"という単語を知っていること,また前後の会話や表情などから相手が天気を知りたがっているという情報を得たいと思っている可能性がある事等を経験記憶等を元に瞬時に分析して返答ができるからである.
しかし,機械的にそれを処理するうえでは非常に難しいことが生じる.
まず,50音全ての文字を配列等にして保管してき,その中の何の文字に該当しているのかを照らし合わせると仮定しよう.
仮に"TE","N","KI"と運よく全てを認識できたとしてそれが天気なのか転機なのか転記なのか全然分からないわけである.
機器が使える機能に絞って天気予報の情報を出せれば運良ければ正解と言うことになる.
これでは精度が悪い.
また,この例えでは文字認識を単純なIF文等でループして"a"⇒×,"i"⇒×とやったように記載しているが良く考えてほしい,キーボードから打ち込んだなら間違いなくコンピュタは"TE"を"て"と認識して取りこぼしなく保管データから照合できるわけだが,それが音声となればもっと複雑である.
"TE"を構成する波形は人によっても周波数もちがければ倍音成分も全く異なる.もっと言えば同じ人が"て"を発音しても録音毎に波形レベルでは全く異なる波形になるのだ.
単純にこの波形と同じ波形と言った判断はできないわけである.
そこで必要になるものの一つに周波数特性等があげられる.
縦軸=電圧(振幅),横軸=時間から周波数成分を抜き出すためにはフーリエ変換等を経て数値化されたデータにする方法がある.
"TE"という発音に含まれる特徴的な周波数や倍音成分,波形の成り立ち等ありとあらゆる情報から判断基準をさまざまな角度から行うことで"e","ke","se"、、、ではなく"te"の成分を最も多く持っていると判断して初めて認識できることになる.
上記文の項目だけでは言葉を認識するに足りない情報かもしれないが,ニュアンス的にはこれらをICでリアルタイムに演算処理してはじき出しているのが音声認識のシステムと言うことになるのだ.
では,これらの知識が電子楽器等にどんな有益があるかを述べてみる.
脱プリセット！ 実用的なシンセの音作り方法、教えます！【千円以上の全品対象5%OFFクーポン・12/28終了】リットーミュージック クリエイターが教えるシンセサイザー・テクニック99【書籍】
まず,いったん声(Voice)から音(Sound)として切り替えて考えてみよう.
近年,発売されるシンセサイザーのほとんどはPCM音源系のシンセサイザーになるわけだが,その波形はサンプリングされているものである.
ユーザが自由に任意の波形を取り込むことができればサンプラーやサンプリング音源と呼ばれるようになるわけで基本的構造は同じである.
サンプリングされた音はデータ容量の制約もあり無限な長さを収録することはできない.
だが,演奏に使う場合は例えばオルガンの音を発音させる場合,トップでEの音をずっと伸ばしながらソロフレーズを弾いたりすることがあると思う.
収録されている音が3秒くらいしかなかったらそのEの持続音はどうやって発音を維持しているのかわかるだろうか？
一言で言ってしまえばループしているのだ.
生楽器における持続音は発音機構が許す限りの長さを維持できる.
ピアノのように音量が減衰する楽器の場合は弦が揺らいで聴感上聞こえるまでが発音可能時間になり,打鍵の強さや湿度などによっても持続時間は変化することになるわけだが電子楽器における波形が同じ構成を強いられた場合は収録されている時間が絶対時間になってしまうことになる.
ピアノの音が完全に消えるまで1音ずつ収録できるほどの大容量なメモリを背負っていれば可能かもしれないが,非常に効率が悪いし,アナログのシンセサイザーのように減衰しない音を作ることができる楽器を収録する場合はいったい何時間収録すればよいのか？という話になってしまう.
それを打開するために使用する技術が波形ループなのである.
生の楽器には音を発音するときに発する特定の周波数や倍音成分にある程度の規則性がある.
音量などは物理的な減衰と密接な関係があるのと同じように,音色を構成する周波数成分にもある程度規則があるのだ.
もちろん,絶対に同じ音を出すことができない自然物理の上で成り立つ楽器はディジタルのような固定成分ではないわけだが,規則的な要素をうまくループさせることで,"生に近い音"を任意の時間分だけ持続させることができるようになるのである.
なので,シンセサイザーでは生楽器では絶対にありえないような物理を完全無視した音色をも作ることが可能である.
例えばピアノのサンプル音でエンベロープジェネレータの構成をオルガンのような形(アタック・リリースがほぼゼロ,ディケイ・サスティーンが最大)に設定すると弾いている間,一切音圧が変化しないピアノの音を発音させることができる事と思う.
ピアノの音としてとらえられる人間の脳には違和感しかないわけだが,このような音色作成の自由度を生むことができる裏側にあるのが波形に含まれる特性より特徴的な周波数成分のループを抜き出している波形ループ技術があるおかげである.
ありがたみが分かりにくい例えなので自然にある音を考えるとオルガンの音を5秒しかサンプリングしなくてもある規則的な成分をループさせることで持続音を再現できれば奏者が演奏に使いたいだけ長く伸ばす音を最小のサンプル量で賄えることになる.
データ量を減らしながらも,演奏に支障をきたさない技術力が,現在のPCM音源をリアルサウンドへと近づけているわけなのである.
大変話がそれてしまったが,ここで重要なのはその波形から特徴的な周波数成分をループさせることができる技術力と言うことになる.
音声認識で母音の波形と子音の波形を分けたりできるということは波形を見れば,発音ごとの波形成分を抜き出せるということになる.
それを逆手に利用すれば波形から特徴的にループできる成分を抜き出してループポイントが生成できるようになれば,オリジナルのサンプリング音源を自由に扱うことができるということになるわけである.
メーカー渾身のPCM音源で十分と言う人にはいらない知識かもしれないが,V-SYNTHシリーズやVariOS等,オリジナルサンプリングにより自由度が増す楽器においては,得たい音がサンプリング波形の要素のどの部分にあるのか,またループポイントをどう作ると違和感なく聞こえるのか等あって損はない知識と言うことになる.
もちろん,玄人向けな話になるので割愛するがPCM音源のエディットでもループポイントを知っていることで解決できることもある.
また,波形編集においてはループポイント作成だけではなく波形の切り貼り一つとっても振幅のどの位置で切り出すと音声的に不都合が低いのか等を考えるうえで波形を見る,解析するという知識は必要になる.
オートメーションでプログラムが認識するという技術的な部分は置いておいても,波形認識の技術はサンプリングの分野をはじめ多くのDAWシーンで有効な知識が詰まっているということがわかるだろう.
ここからは私の推測だが,将来この音声認識技術が発展すればユーザが任意に収録したサンプリング音から,この音声認識技術を応用したテクノロジーが自動ループポイント生成をして知識がない人でもオリジナルサンプリング音源を手に入れられるシンセサイザー,いわば未来型サンプリング音源が確立する時代が来るのではと想像している.
既に現段階で人の声から正確な認識という分野ではメールの文章も声のみで入力可能になっているし鼻歌からの音程分析もできる技術があるわけだが,より精度の高い音声認識技術が確立すれば(既に確立している現状のサーチ方法を高速処理エンジンで動作するだけになるかもしれないが)日常生活でも非常に身近なところで役に立つことだろう.
次回は最終号音声合成とまとめを記述します.
お気に入りの記事を「いいね！」で応援しよう
[音楽] カテゴリの最新記事
-
minimoog VOYAGERにVX-315を取り付けてみた December 16, 2018
-
MN-22E MONOLER March 30, 2016 コメント(1)
-
キングオブシンセ KORG OASYS March 4, 2016
【毎日開催】
15記事にいいね！で1ポイント
© Rakuten Group, Inc.
