クエンチされたゆらぎの計算¶
ここでは, クエンチされたゆらぎ (quenched fluctuations) [1] が
(1)
となることを示す. ただし, は長い時間にわたる平均である. ここで, は オーダーパラメター (order parameter) と呼ばれ, ニューロン の活動率の時間平均 を用いて,
と定義される.
[1] | 無理やり日本語にすると「焼入れされたゆらぎ」と言うのだろうか. |
偏差の分解¶
まず, の集団平均 からのズレ具合 (偏差) を次のように, 2つの成分に分解できることを示す.
ここで (d1) は 「結合数のゆらぎ」, (d2) [2] は 「時間平均活動率のゆらぎ」である. 結合数は時間によらないので, そのゆらぎが「クエンチされている」のは当然であるが, 活動率の時間平均 も (平均操作のおかげで) 時間によらないので, そのゆらぎもクエンチされたゆらぎに含める必要がある. つまり, クエンチされたゆらぎのうち, 直接の影響である (d1) 「結合数のゆらぎ」と, それが引き起こす間接的な影響である (d2) 「時間平均活動率のゆらぎ」の2つを勘定すれば良い, という主張である.
[2] | ここでの (d1) は, 原著 [vanVreeswijk1998] の式(5.5) と同値であることは, より分かる. しかし, この表記では, が何を意味する不鮮明である. 親切に書くのならば, として, 集団平均が添字 についてとられることと添字 への依存性が無いことを示すべきであるが, それならそもそも と書く方が良い. |
これは, 地道に入力の時間平均 の偏差を計算することによって示せる:
ここで, (1) , (2) 定義 , (3) 偏差 の定義, (4) ニューロンの状態と結合係数の相関 の議論, (5) であり, なので, 結局 , (6) , を用いた. 式変形 (4) の右辺とそれ以降の式中に現れる は, から のどの値をとっても良い. これは 大数の法則 (law of large numbers) より が同じ値に収束するからである.
ふたつの偏差の相関¶
上記の計算より導かれた2つの偏差の二乗平均をとって, ゆらぎを
のように求めたいが, そのためにはそれらの偏差が無相関 でなければならない. これは簡単に示せる:
式変形 (1) では ニューロンの状態と結合係数の相関 の議論を用いた. 式変形 (2) では, は だと
なので, 非ゼロになるのは の場合のみであることを用いた. 式変形 (3) は, 偏差 の定義に沿って
という計算をすれば良い. 式変形 (3) の右辺以降に現れる添字の は, この部分の添字が何でも良いことを表す.
結合数のゆらぎ¶
ここで, (1) 和の積の計算のための添字テクニック と (2) ニューロンの状態と結合係数の相関 の議論を用いた. 最後の式変形 (3) では, だと
となり, だと
となることを用いた. この計算では, (1) 偏差 の定義を使い, (2) 大数の法則 (law of large numbers) と 結合確率の定義 による期待値の計算をした.
時間平均活動率のゆらぎ¶
ここで, (1) 和の積の計算のための添字テクニック と (2) ニューロンの状態と結合係数の相関 の議論を用いた. 上記の3つの項は以下のように計算できる.
ここで, (1) 結合確率の定義 による期待値の計算, (2) 集団平均の定義 , (3) を用いた
ここで, (1) が に依存しないこと, (2) 大数の法則 (law of large numbers) と 結合確率の定義 による期待値の計算, (3) , (4) と の定義を用いた.