1

音楽の情報処理

2

音楽の科学

● 音楽を支える科学● 音楽の数理

– 音階の起源● 楽器の科学

– 楽器の分類– 楽器から音が出るしくみ

● 音楽の文法

● 音楽の工学● 新しい楽器の設計● 音楽の情報処理

– 電子楽器のための音合成

– 自動採譜のための技術

3

音の協和性(Consonance)

● 2つの音があったとき，それがどれだけ「響きあって」(あるいは「濁って」)聞こえるか？

藤沢他：「和音認知に関する心理物理モデル」，情報処理学会研究報告(2006-MUS-66)， 99-104．

●音の「非協和度(dissonance)」は1半音程度で最大となる

●デモをどうぞ

4

調波複合音と協和性

● パルス的な音のスペクトル

● 1半音離れた音(短 2度 )の混合

● 7半音離れた音(完全5度 )の混合

5

どのような場合に協和度が高いか

● 2音のどの倍音も不協和度が高い関係にない⇒2音の周波数比が単純な整数比になる (2:1, 3:2, 4:3, 5:3, 5:4など)● 2音の周波数成分が完全に重なるか，あるいは十分離れていればよい

周波数比 \ 倍音 1 2 3 4 5 6

原音 1000 2000 3000 4000 5000 6000

2 倍 ( 完全 8 度 ) 2000 4000 6000 8000 10000 12000

3/2 倍 ( 完全 5 度 ) 1500 3000 4500 6000 7500 9000

4/3 倍 ( 完全 4 度 ) 1333 2666 4000 5333 6666 8000

5/4 倍 ( 長 3 度 ) 1250 2500 3750 5000 6250 7500

原音の基本周波数が1000Hzの場合

6

純正律と平均律● 純正律

● Iの和音(ドミソ)の協和度が高くなる音階● それ以外の和音の協和性はいまいち．任意の調への転調はできない

● 平均律● 半音の周波数比を一律21/12(100cent)とする● 転調が可能だが和音の協和性は微妙に下がる

音名 ド レ ミ ファ ソ ラ シ ド

周波数比 1 9/8=1.125

5/4=1.250

4/3=1.333

3/2=1.5

5/3=1.666

15/8=1.875

2

音名 ド レ ミ ファ ソ ラ シ ド

周波数比 1 1.123 1.260 1.335 1.498 1.682 1.888 2

7

楽音の処理

● 音の生成● シンセサイザ等での音をどうやって作るか

● 音の認識● 複合音の分離

– 複数楽器やボーカルが入った音楽を各パートに分離する– 採譜・和音認識への応用

● 音楽的構造の自動認識– メロディーライン(採譜)– 和音– 調– テンポ

8

音を作る

● シンセサイザの音をどうやって作るか● 減算合成

● 原音をフィルタで整形して音を作る

● 加算合成● 複数の正弦波を合成して音を作る

● FM合成● FM変調音を利用

● PCM音源● 録音した音をそのまま使う

9

減算合成

● アナログシンセサイザの代表的な合成方式● 高周波を含む波形を発振し，その周波数をフィルタで削って音を作る● 音声のフォルマント合成と同じ原理

● 波形の振幅を変調して「響き」を制御する● ADRS(Attack, Decay, Release, Sustain)

– 楽器の音の時間パターンを模擬● LFO (Low Frequency Oscillator)

– 周波数を変調（ビブラート）– 振幅を変調（トレモロ）

t

A D R S

10

減算合成形アナログシンセサイザの構成

VCO周波数制御電圧 VCF

LFO

フィルタ制御電圧

VCA

Envelopegenerator

f

t

11

FM合成

● 初期のディジタルシンセサイザの代表的合成方式

● 不規則な高周波成分を含む音を合成できる● 現在は携帯電話の着メロなどの音源として使われている

y=Asin 2 f c t I sin 2 f m t

●キャリア周波数 fcと変調周波数 fmの比によって基本周波数が決まる●fc:fm=1:1, 1:2, 2:5, etc.

12

PCM音源

● 録音してある音を再生（サンプラ）● 音声合成の「録音合成」と同じ

● 既存の楽器の音を出すためには有効● 鍵盤楽器では鍵盤ごとに録音● ピッチ，長さの変更が必要

● PSOLA，フェーズボコーダ等を利用

13

自動採譜のための技術

● コンピュータによる「耳コピ」

● 採譜の対象● 単独音● 同じ楽器の和音● 異なる楽器のアンサンブル

● ボーカルの存在

● 自動採譜の技術● 基本周波数(F0)の推定（ピッチ抽出）

● 混合音のF0推定● 調の推定● 和音のコード推定● テンポの推定

14

基本周波数推定

琴の音の波形

拡大

15

スペクトルから攻める？

スペクトル上の１個のピークだけからF0を決めるのは難しい

16

波形から攻める

上記の波形を168ポイント(3.81ms)ずらして重ねたもの

基本周波数 =1/3.81(kHz)=262.5Hz

17

自己相関関数

R [ f ]=∫−∞

∞

f t f t−dt

R [ x ]=∑i

xi x i−

18

ふたたびスペクトルから攻める

スペクトル上の１個のピークだけからF0を決めるのは難しい

19

ふたたびスペクトルから攻める

スペクトル上のピークの規則性を捉える

20

FFTケプストラムによるF0抽出

C =F [log∣X ∣2]

X =F [ x t ]

21

混合音のF0推定

● 複数の調波複合音が混合された音から，個々の音の高さを推定する● 必ずしも個々の音自体が復元できなくても良い

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

22

混合音を扱う難しさ

● どの周波数ピークがどの音に由来するのかを特定することが難しい

0 2000 4000 6000 8000 10000 12000

-120

-100

-80

-60

-40

-20

0

23

対数周波数表現

200 2000

-150

-100

-50

0

200 2000

-150

-100

-50

0

200 2000

-150

-100

-50

0

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

0 2000 4000 6000 8000 10000 12000

-150

-100

-50

0

X f ≈∑n=1

N

an f −n f 0 X ≈∑n=1

N

an−log f 0−logn

log f =

X 0=∑n=1

N

an−log n X ≈X 0−log f 0

240.0 0.5 1.0 1.5 2.0 2.5 3.0

01

23

x

GM

M (

x)

PreFEst法(Predominant Frequency Estimation)

● 調波複合音のパワースペクトルをガウス分布の混合でモデル化

=∑n

n N ;log n ,2

25

PreFEst法(Predominant Frequency Estimation)

● 混合音を GMMの混合でモデル化し，それぞれの大きさを推定→EMアルゴリズムを利用

p =∑k

ak−k

0.0 0.5 1.0 1.5 2.0 2.5 3.0

02

46

8

xpn

orm

dis

t(x

- 0

.5, a

, 0, 0

.02

) +

pn

orm

dis

t(x

- 0

.8, a

, 0, 0

.02

) +

pn

orm

dis

t(x

- 1

.2, a

, 0, 0

.02

)

0.0 0.5 1.0 1.5 2.0 2.5 3.0

02

46

8

xpn

orm

dis

t(x

- 0

.5, a

, 0, 0

.02

) +

pn

orm

dis

t(x

- 0

.8, a

, 0, 0

.02

) +

pn

orm

dis

t(x

- 1

.2, a

, 0, 0

.02

)

26

調性・和音の推定

● 調の推定：曲全体がどんな調か● C（ハ長調），Am（イ短調），etc.

● 和音の推定：同時に鳴っている，あるいは続けて鳴っている音が構成する和音は何か

● 特徴量：クロマベクトル(chroma vector)● １２の音名に関連する強さを表すベクトル

– 音符の記号処理の場合：各音名の出現頻度– 信号処理の場合：各音名に対応する信号の強さの積分値

C C# D D# E F F# G G# A A# B

8 0 11 0 11 0 0 6 0 2 0 0

5 0 4 0 15 8 0 0 0 8 0 7

→ チューリップ→ 荒城の月

27

音響信号に対するクロマベクトルの計算

● パワースペクトル (f,t) にバンドパスフィルタをかけて，時間方向に積分● 同じ音名で違うオクターブのフィルタは全部積算

Chn=∑t∑oct

∑f

f , t Boct n , f

28

クロマベクトルの利用

● クロマベクトル（ 12音名の離散分布）は調や和音によって特徴的な値をとる

内山他：音講論 2-5-7, pp. 901-902, 2008-3

29

テンポの推定

● 音楽の長時間(数百ミリ秒 )の周期性● 120bpm = 2Hz ⇔ 500ms

● 問題点● 明確に定義できない場合もある(非西洋音楽等)● ビートの検出が難しい場合もある(アカペラ等)● 局所的に変動する

● 基本的な処理● 特徴量 (音の立ち上がり )抽出● 自己相関関数による周期性の検出

30

テンポ推定

● ビートの特徴となる量を検出する● パワースペクトルの変化量など– パワースペクトルを計算– 時間方向に微分– 周波数方向に積分– 閾値処理

● 自己相関関数により周期性を検出

M.Alonso et al., ISMIR 2004.