\(\newcommand{\D}{\text{d}} \newcommand{\I}{\text{i}} \newcommand{\E}{\text{e}} \newcommand{\Prob}{\mathbb{P}} \newcommand{\Expect}{\mathbb{E}} \newcommand{\Var}{\text{Var}} \newcommand{\PAvg}[1]{\left[#1\right]} \newcommand{\Avg}[1]{\left\langle#1\right\rangle} \newcommand{\AvgJ}[1]{\Avg{#1}_{\bm J}} \newcommand{\AvgDyn}[1]{\Avg{#1}_{\text{dyn.}}} \newcommand{\CAvg}[2]{\Avg{#1}_{\left|#2\right.}} \newcommand{\Devi}{\mathfrak{d}}\)

秩序変数の計算

これまでの計算で, クエンチされたゆらぎ(空間ゆらぎ)と時間ゆらぎを集団平均活動率 m_k と秩序変数 q_k で表すことが出来ると分かったが, 秩序変数 q_k の計算方法がまだ分からないので, これでは答えを得たとは言えない. ここでは, 秩序変数 q_k が満たすべき関係式 (自己無頓着 (self-consistent) 方程式) を導く.

平均場方程式の導出 と同様に, ニューロンの状態 \sigma_k^i(t) = \Theta(u_k^i(t)) を標準ガウス確率変数で書きなおそう. 今度は, 入力 u_k^i(t) のゆらぎをクエンチされたゆらぎ(空間ゆらぎ)と時間ゆらぎをに分け, それぞれ独立な標準ガウス確率変数 x_iy_i(t) で表す. [1] つまり, 確率変数 x_iy_i(t)\PAvg{x_i}_i = \Avg{y_i(t)}_t = 0\PAvg{(x_i)^2}_i = \Avg{(y_i(t))^2}_t = 1 を満たすとする. これらの確率変数を用いて入力を

u_k^i(t) = u_k + c x_i + d y_i(t)

と書いて実数 c, d を求めよう. クエンチされたゆらぎの計算 の結果と

\left[ \left( \Devi \Avg{u_k^i(t)}_t \right)^2 \right]
=
\left[ \left( \Devi (c x_i) \right)^2 \right]
=
\left[ \left( c x_i \right)^2 \right]
=
c^2

より, c = \sqrt{\beta_k}, 時間ゆらぎの計算 の結果と

\Avg{
  \left[\left(
    u_k^i(t) - \Avg{u_k^i(t)}_t
  \right)^2 \right]_i
}_{t}
=
\Avg{
  \left[\left(
    d y_i(t)
  \right)^2 \right]_i
}_{t}
=
d^2

より, d = \sqrt{\alpha_k - \beta_k} が言える.

[1]確率変数 x_i とある時間 t における時間ゆらぎ成分を表す確率変数 y_i(t) は独立だが, 違う時間 t' \neq t と比べて, y_i(t)y_i(t') が独立, という意味では ない. 確率変数 y_i(t)y_i(t') はもちろん相関を持ち, その相関構造は u_k^i(t) の自己相関関数を計算することで理解できる.

よって, ニューロンの状態 \sigma_k^i(t) = \Theta(u_k^i(t))

\sigma_k^i(t) = \Theta \left(
  u_k + \sqrt{\beta_k} \, x_i + \sqrt{\alpha_k - \beta_k} \, y_i(t)
\right)

と書けることが分かった. この表式では, 時間平均 \Avg{\bullet}_t は確率変数 y_i(t) に関する平均と同値 (つまり, \Avg{f(y_i(t))}_t = \int \D y \, f(y)) なので, m_k^i = \Avg{\AvgDyn{\sigma_k^i(t)}}_t

(1)m_k^i = m_k(x_i) = H \left(
  \frac{-u_k - \sqrt{\beta_k} x_i}{\sqrt{\alpha_k - \beta_k}}
\right)

と書ける. この表式を用いて q_k = \PAvg{(m_k^i)^2} を計算すると,

(2)q_k
= \int Dx \left( m_k(x) \right)^2
= \int Dx \left\{
  H \left(
    \frac{-u_k - \sqrt{\beta_k} x_i}{\sqrt{\alpha_k - \beta_k}}
  \right)
\right\}^2

となる. クエンチされたゆらぎ \beta_kq_k に依存していることを思い出せば, この式は秩序変数 q_k が満たすべき関係式であり, q_k を陰に定義していることが分かる.

  • 時間ゆらぎが無い場合 \alpha_k - \beta_k = 0:

    \sigma_k^i(t) = \Theta \left(u_k + \sqrt{\beta_k} \, x_i \right)y_i(t) に依存しないので, m_k^i = \Avg{\AvgDyn{\sigma_k^i(t)}}_t
= \Theta \left(u_k + \sqrt{\beta_k} \, x_i \right) [2] となるから, (m_k^i)^2 = m_k^i より,

    q_k
= \int Dx \, \left( m_k(x) \right)^2
= \int Dx \, m_k(x)
= m_k

    である. 時間ゆらぎの計算 で導いた関係式より, \alpha_k - \beta_k = \sum_{l=E,I} J_{kl}^2 (m_l - q_l) = 0 となり, 時間ゆらぎが無いという仮定と整合性があるので, q_k = m_k は式 (2) の解のひとつである. この解を, 原著 [vanVreeswijk1998] にならい 凍結解 (frozen solution) と呼ぶ. 時間ゆらぎは二乗の平均なので正, つまり \sum_{l=E,I} J_{kl}^2 (m_l - q_l) は正である.

    また, 0 \le m_k(x_i) \le 1 より, 各点 x_im_k(x_i)^2 \le m_k(x_i) だから, \PAvg{m_k(x_i)^2} \le \PAvg{m_k(x_i)} = m_k, つまり凍結解 q_k = m_k は秩序変数 q_k の上限を与えることが分かる.

    [2]

    この場合の時間平均活動率 m_k^i = \Theta \left(u_k + \sqrt{\beta_k} \, x_i \right) は, \alpha_k - \beta_k > 0 の場合の Q関数 を用いた表式 (1) の極限 \alpha_k - \beta_k \to 0^+ でもある.

  • クエンチされたゆらぎがない場合 \beta_k = 0:

    (2)\beta_k = 0 を代入すると, m_k(x_i) = H({-u_k}/{\sqrt{\alpha_k}})x_i に依存しなくなり,

    q_k
= \int Dx \left\{
  H \left(
    \frac{-u_k}{\sqrt{\alpha_k}}
  \right)
\right\}^2
= \underbrace{
  \left\{
    H \left(
      \frac{-u_k}{\sqrt{\alpha_k}}
    \right)
  \right\}^2
}_{= (m_k)^2}
\underbrace{
  \int Dx
}_{= 1}
= (m_k)^2

    となる. しかし, クエンチされたゆらぎの計算 で求めた関係式 \beta_k = \sum_{l=E,I} J_{kl}^2 q_l にこれをあてはめると, m_k = 0 または J_{kl} = 0 というトリビアルな状況を除けば, \beta_k > 0 となり, 仮定 \beta_k = 0 とは整合性がとれない. よって, q_k = (m_k)^2 は解ではない. 一方で, イェンゼンの不等式 (Jensen’s inequality) [3] を用いれば, \PAvg{(m_k^i)^2} \ge (\PAvg{m_k^i})^2 = (m_k)^2, つまりクエンチされたゆらぎがない場合 \beta_k = 0 が秩序変数 q_k の下限を与えることが分かる.

    [3]

    (下に)凸関数 f(x)x に関する平均 \Avg{\bullet} について, f(\Avg{x}) \le \Avg{f(x)} が成り立つ. これを, イェンゼンの不等式 (Jensen’s inequality) という. 参考: イェンゼンの不等式 - Wikipedia / Jensen’s inequality - Wikipedia