1/28か1/31に試験。

ここまでの簡易的なまとめ

これだけではないので注意(特にカルノーサイクル、理想気体のエントロピーなど)。

























カノニカルアンサンブル

 以前、エントロピー\(S\)は同一のマクロな量に対応する場合の数\(\Omega\)と、以下のような関係があることを示した。 \[\begin{equation} S = k\log\Omega \end{equation}\] 孤立系において、\(\Omega\)は時間と共に単調増加し平衡状態で最大をとる場合の数である。系1(\(\Omega_1\))と系2(\(\Omega_2\))をあわせた系での場合の数は\(\Omega_1\Omega_2\)となる。一方、エントロピーは同様の性質をもち、あわせた系では\(S_1 + S_2\)となる。この２つをつなぐ式が上記のものである。











この式はミクロな変数\(\Omega\)とマクロな変数\(S\)をつなぐ重要な式であった。ここでは、ミクロな状態に注目し、マクロな状態との対応関係を考えていく。











 一定の温度をもつ系の位相空間上の確率分布を考える。ここでの位相空間とは、１つの粒子\(i\)の状態を位置\(q_i\), 運動量\(p_i\)により表すことを意味する(例えば理想気体ならば、運動エネルギー\(\frac{1}{2}mv^2\)は、運動量\(p = mv\)を用いて、\(\frac{p^2}{2m}\)と表すことができる。位置と運動量があれば、その粒子がどの位置にあり、どのようなエネルギーをもち、さらに速度の方向かつ振幅も表すことができる)。両者はハミルトアニアンというエネルギー関数を構成する変数であり、位相空間上の点それぞれにいわゆるエネルギーを割り当てることができる。











教科書の図7.1を参照に、系を\(S\)、熱浴を\(R\)とする。ここでは、系と熱浴を合わせた閉じた系を考える。すなわち、\(S\)と\(R\)を合わせた系のエネルギー\(E\)は、 \[\begin{equation} E = E_{\rm R} + E_{\rm S} = \rm{const.} \end{equation}\] であり、閉じた系であるためこれは一定値である。熱浴とは系を等温に保つために熱のやり取りをする巨大な系であり、 \[\begin{equation} \frac{E_{\rm S}}{E} = \frac{E_{\rm S}}{E_{\rm S} + E_{\rm R}} = \frac{E_{\rm S}/E_{\rm R}}{1 + E_{\rm S}/E_{\rm R}} \ll 1 \end{equation}\] とする。ここで、熱浴と接するため温度は一定であるが、粒子は動き続けており、系のエネルギー\(E_{\rm S}\)は一定ではない。ここで、理想気体であれば内部エネルギーは温度と粒子数が一定ならば決まることと反するように一見みえる。しかし、内部エネルギーは運動エネルギーを粒子間平均したものであり[さらにいうと時間平均したものでもあり]、とある時間スナップショットにおける複数の粒子の運動エネルギーはつねに揺らぐ。そのため、この系のエネルギー\(E_S\)は揺らぐと想定しても矛盾はない。したがって系のエネルギーの実現値は、何かしらの確率分布に従うものと想定できる。系\(S\)のエネルギーが実現値\(E_i\)となる確率\(p_i\)を求める。

















 \(p_i\)は、エネルギー\(E_i\)[これまでの内部エネルギー\(U\)と異なる。\(E_i\)の期待値が\(U\)]と両立しうる場合の数\(\Omega_{\rm S}(E_i)\)に比例する(例えば、目が1,1,1,2,3,4のサイコロであれば、1が確率は3/6であるように)。すなわち、 \[\begin{equation} p_i \propto \Omega_{\rm S}(E_i) \end{equation}\] 系のエネルギーの実現値が\(E_i\)となるならば，熱浴のエネルギーは\(E - E_i\)と決まる。すなわち、熱浴におけるミクロな状態の場合の数を考えると、 \[\begin{equation} p_i \propto \Omega_{\rm R}(E - E_i) \end{equation}\] となる。便宜的にエントロピーを考えると、系のエネルギーの実現値が\(E_i\)となるとき、熱浴のエントロピーは、\(E_i\)が\(E\)に比べて十分に小さいと仮定すると、 \[\begin{equation} S_{\rm R} = k\ln \Omega_{\rm R}(E - E_i) \simeq k\ln \Omega_{\rm R}(E) - k \frac{\partial}{\partial E}(\ln\Omega_{\rm R}(E)) \times E_i + ... = k\ln \Omega_{\rm R}(E) - \frac{\partial S_{\rm R}}{\partial E}E_i = k\ln \Omega_{\rm R}(E) - \frac{E_i}{T} \end{equation}\] という近似式を得る(\(E_i \ll 1\)を暗に仮定している[ように思える])。


















したがって、 \[\begin{equation} p_i \propto \Omega_{\rm R}(E - E_i) = \Omega_{\rm R}(E)\exp \left( - \frac{E_i}{kT}\right) \end{equation}\] を得る。\(E\)は一定であることを想定しているため、\(\Omega_{\rm R}(E)\)も一定。このことから、 \[\begin{equation} p_i \propto \exp \left( - \frac{E_i}{kT}\right) \end{equation}\] を得る。さらに、\(p_i\)を、\(\sum_i p_i = 1\)となるように正規化すると(確率を考えているため)、 \[\begin{equation} p_i = \frac{\exp \left( - \frac{E_i}{kT}\right)}{\sum_i \exp \left( - \frac{E_i}{kT}\right)} \end{equation}\] を得る。この確率分布を、カノニカル分布と呼ぶ。

















多くの場合、\(\beta = 1/(kT)\)として逆温度を定義し、 \[\begin{equation} p_i = \frac{\exp \left( - \beta E_i\right)}{\sum_i \exp \left( - \beta E_i\right)} \end{equation}\] と書くことが多い。また、カノニカル分布の分母を\(Z\)、すなわち \[\begin{equation} Z = \sum_i \exp \left( - \beta E_i\right) \end{equation}\] として、\(Z\)を分配関数と呼ぶ。また、\(E_i\)が連続値である場合は、 \[\begin{equation} p_i = \frac{\exp \left( - \beta E_i\right)}{\int \exp \left( - \beta E_i\right) dE_i} \end{equation}\] \[\begin{equation} Z = \int \exp \left( - \beta E_i\right) dE_i \end{equation}\] として積分を考えれば良い。要は、確率分布の性質を満たすように分配関数を設定すればカノニカル分布として成立する(確率分布の性質は、非負、定義域内で確率変数に関して積分すると1になる、ということ)。

















少し脱線

とあるデータ\(\boldsymbol{y}\in\mathbf{R}^{N}\)を計測したとする。このデータには加法的にバイアスのないノイズが加わっており、ノイズの加わっていない観測できない真のデータ\(\boldsymbol{x}\in\mathbf{R}^{N}\)から、\(\boldsymbol{y} = \boldsymbol{x} + \boldsymbol{\xi}\)として生成されているという確率モデルを考える。このとき、尤度関数は\(p(\boldsymbol{y} | \boldsymbol{x})\)、事前分布は\(p(\boldsymbol{x})\)、事後分布は \[\begin{equation} p(\boldsymbol{x} | \boldsymbol{y}) = \frac{p(\boldsymbol{y} | \boldsymbol{x})p(\boldsymbol{x})}{\int p(\boldsymbol{y} | \boldsymbol{x})p(\boldsymbol{x}) d \boldsymbol{x}} \end{equation}\] いま、無情報量事前分布を考えるとすると、 \[\begin{equation} p(\boldsymbol{x} | \boldsymbol{y}) = \frac{p(\boldsymbol{y} | \boldsymbol{x})}{\int p(\boldsymbol{y} | \boldsymbol{x}) d \boldsymbol{x}} \end{equation}\] これを書き換えると、 \[\begin{equation} p(\boldsymbol{x} | \boldsymbol{y}) = \frac{\exp(- [-\log p(\boldsymbol{y} | \boldsymbol{x})])}{\int \exp(- [-\log p(\boldsymbol{y} | \boldsymbol{x})]) d \boldsymbol{x}} \end{equation}\] となり、\(E = -\log p(\boldsymbol{y} | \boldsymbol{x})\)かつ逆温度を\(\beta = 1\)としたときのカノニカル分布と一致する。このことから、統計力学と機械学習(特にベイズ統計)は同一の枠組みとみなすことができ、互いの分野を行き来するような解析が可能となることが期待できる(事実、多くの機械学習手法にたいして統計力学的解析などが行われている)。

















カノニカル分布に基づく、粒子が従う速度分布の導出

 カノニカル分布を利用して、理想気体の各粒子が従う速度の分布を求めてみる。1粒子のみを考え、さらに1次元の筒内に動作が拘束されているものと仮定する。このとき、この系のハミルトニアン(ここではエネルギーと同じもの)は、 \[\begin{equation} H(q, p) = \frac{p^2}{2m} \end{equation}\] となる。したがって、カノニカル分布は、粒子1の速度を\(v_1\)、運動量を\(p_1\)とすると、 \[\begin{equation} p(H(q, p_1) = H(q, p)) = p(v_1 = v) = \frac{1}{Z}\exp \left( - \beta \frac{1}{2}mv^2\right) = \frac{1}{Z}\exp \left( -\frac{mv^2}{2kT}\right) \end{equation}\]

















ここで、確率変数\(x\)が実現値\(z\)をとる確率が平均\(\mu\)、分散\(\sigma^2\)のガウス分布に従うとき、その確率分布は \[\begin{equation} p(x = z) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp \left( -\frac{1}{2\sigma^2}(z - \mu)^2 \right) \end{equation}\] となる。これと照らし合わせると、粒子の速度は、平均0、分散\(kT/m\)のガウス分布であることがわかる。そして、分配関数\(Z\)は、 \[\begin{equation} Z = \sqrt{2\pi kT/m} \end{equation}\] であることがわかる。この分布は1次元に拘束されている場合の話だが、3次元を考えるならば、各次元は独立しているため、 \[\begin{equation} p(v_{1x} = v_x, v_{1y} = v_y, v_{1z} = v_z) = \left(\frac{m}{2\pi kT}\right)^{3/2} \exp \left( -\frac{m(v_x^2 + v_y^2 + v_z^2)}{2kT}\right) = \left(\frac{m}{2\pi kT}\right)^{3/2} \exp \left( -\frac{m |\boldsymbol{v}|^2 }{2kT}\right) \end{equation}\] を得る。この速度分布はマクスウェルの速度分布と呼ばれる(p. 12の例1.2)。0からこれを導くとかなり難しいものの、カノニカル分布を利用すると一瞬で導出することができる。

















—-(01/17はここから)—- おさらい[カノニカル分布に関する事項は、必ず復習しておいてください]: 位置\(q\), 運動量\(p\)から構成される位相空間を考える。また、位相空間上で定義されるハミルトニアン(エネルギー)\(H(q, p)\)を考える(考える粒子が複数ならば、\(q\), \(p\)をベクトル\(\boldsymbol{q} = (q_1, ..., q_N)\), \(\boldsymbol{p} = (p_1, ..., p_N)\)にすればよい)。このとき、ハミルトニアンがとある実現値をとる確率は、カノニカル分布 \[\begin{equation} p(H(q, p)) = \frac{1}{Z}\exp(-\beta H(q, p)) \end{equation}\] に従う。ただし、\(\beta = 1/(kT)\)、\(Z\)は分配関数と呼ばれ規格化定数を表す。1粒子かつ1次元の動作に注目すると、 \[\begin{equation} p(H(q, p)) = \frac{1}{Z}\exp(-\beta \frac{p^2}{2m}) \end{equation}\] であり、速度に書き直すと、速度がとある実現値をとる確率は、 \[\begin{equation} p(v) = \frac{1}{Z}\exp(-\frac{mv^2}{2kT}) \end{equation}\] となる(最初から速度で表現すればいいじゃん、という話でもある)。

















カノニカル分布に基づく、理想気体の内部エネルギー

 マクスウェルの速度分布を利用すると、運動エネルギーの期待値は、 \[\begin{equation} E[K] = \frac{1}{2}mE[v^2] = \frac{1}{2}m \int v^2 p(v)dv \end{equation}\] となる。ここで、分散の定義は\(\mathrm{Var}(v) = E[v^2] - (E[V])^2\)より、\(E[v^2] = \mathrm{Var}(v) + (E[v])^2\)。上記の\(p(v)\)は平均が0(\(E[v]\)=0)、分散が\(\mathrm{Var}(v) = kT/m\)のガウス分布であるため、\(E[v^2] = kT/m\)。

















したがって、1粒子1次元の場合は運動エネルギーは、 \[\begin{equation} E[K] = \frac{1}{2}mE[v^2] = \frac{1}{2}kT \end{equation}\] となる。これが3次元の場合ならば、\(v_x\), \(v_y\), \(v_z\)は独立なため、 \[\begin{equation} E[K] = \frac{1}{2}m(E[v_x^2]+E[v_y^2]+E[v_z^2]) = \frac{3}{2}kT \end{equation}\] となる。\(N\)粒子ならば、各々の粒子が独立なため、 \[\begin{equation} E[K] = N\times \left( \frac{1}{2}m(E[v_x^2]+E[v_y^2]+E[v_z^2]) \right) = \frac{3}{2}NkT \end{equation}\] となる。理想気体ならば、粒子間の距離は十分に長くポテンシャルエネルギーが0の状況を想定している。したがって、理想気体の内部エネルギー\(U\)は運動エネルギーのみであり、 \[\begin{equation} U = \frac{3}{2}NkT \end{equation}\] となる。これまたかなり難しい導出が必要だったが、カノニカル分布を利用すると容易に導出できる。

















分配関数と(ヘルムホルツの)自由エネルギー

 カノニカル分布を利用することで、系の平均エネルギー\(U\)を、 \[\begin{equation} U = \frac{1}{Z}\sum_i E_i \exp \left( - \beta E_i\right) \end{equation}\] として計算することができる。同様にエントロピーに関わる変数である、系の場合の数に\(\log\)をかませた平均値\(\log\Omega\)も \[\begin{equation} \langle \log\Omega \rangle = \frac{1}{Z}\sum_i \log \Omega(E_i) \exp \left( - \beta E_i\right) \end{equation}\] として計算できる。唐突ではあるが、確率分布のエントロピー\(-\sum_{i}p_i\log p_i\) を考え、これまで出てきたエントロピーは\(S = -k\sum_{i}p_i\log p_i = k\langle\log \Omega\rangle\)という関係式があるとすると(等確率の原理[すべての状態は満遍なく生じる]のもと、これは成り立つ)、\(p_i = \frac{1}{Z}\exp(-\beta E_i)\)より、 \[\begin{equation} S = - \frac{k}{Z}\sum_i (-\beta E_i - \log Z) \exp \left( - \beta E_i\right) = k\beta U + k \log Z \end{equation}\]

















いま、\(k\beta = 1/T\)より、 \[\begin{equation} -kT\log Z = U - TS = F \end{equation}\] を得る。つまり、自由エネルギー\(F\)と分配関数には、 \[\begin{equation} F = -kT\log Z = U - TS \end{equation}\] という関係式が成り立つことがわかった。

















カノニカル分布と状態方程式

 再び1粒子の系を考える。体積\(V\)の容器に封入されている状況を考え、真面目に分配関数を計算してみる。カノニカル分布は、 \[\begin{equation} p(H(\boldsymbol{q}_1, \boldsymbol{p}_1) = H(\boldsymbol{q}, \boldsymbol{p})) = \frac{1}{Z}\exp \left( - \frac{1}{2mkT}(p_x^2 + p_y^2 + p_z^3) \right) \end{equation}\] であり、分配関数は本来、位置\(q\)、運動量\(p\)に対して積分をする必要がある。 \[\begin{equation} Z = \int dq_x \int dq_y \int dq_z \int dp_x \int dp_y \int dp_z \ \exp \left( - \frac{1}{2mkT}(p_x^2 + p_y^2 + p_z^3) \right) \end{equation}\] となる。ここで、\(\int dq_x \int dq_y \int dq_z\)は容器の体積\(V\)となる。

















そして、 \[\begin{equation} \int dp_x \int dp_y \int dp_z \ \exp \left( - \frac{1}{2mkT}(p_x^2 + p_y^2 + p_z^3) \right) = (2\pi mkT)^{3/2} \end{equation}\] となる(この計算は難しいので、ガウス分布が積分して1になることから理解すればよい)。すなわち、 \[\begin{equation} \int dp_x \int dp_y \int dp_z \ \frac{1}{(2\pi mkT)^{3/2}} \exp \left( - \frac{1}{2mkT}(p_x^2 + p_y^2 + p_z^3) \right) = 1 \end{equation}\] から計算すれば良い。したがって、最終的に \[\begin{equation} Z = V (2\pi mkT)^{3/2} \end{equation}\] を得る。

















 続いて、\(N\)個の粒子から構成される理想気体を考える。\(N\)個の粒子の間には相互作用がなく、互いに独立しているとみなせる。したがって、カノニカル分布は(単純のため実現値のみを確率分布の括弧内に記す)、 \[\begin{equation} p(H(\boldsymbol{q}, \boldsymbol{p}) = p(H((\boldsymbol{q}_1, \boldsymbol{p}_1), H((\boldsymbol{q}_2, \boldsymbol{p}_2), ..., H((\boldsymbol{q}_N, \boldsymbol{p}_N)) = p(H((\boldsymbol{q}_1, \boldsymbol{p}_1())p(H((\boldsymbol{q}_2, \boldsymbol{p}_2))...p(H((\boldsymbol{q}_N, \boldsymbol{p}_N)) \end{equation}\] である。そして、上記と同じ計算より、この系全体のカノニカル分布に対する分配関数は、 \[\begin{equation} Z = V^N (2\pi mkT)^{\frac{3N}{2}} \end{equation}\] となる。したがって、自由エネルギーは \[\begin{equation} F = -kT\log Z = -kT (N\log V + \frac{3N}{2} \log (2\pi mkT)) = -NkT \left( \log V + \frac{3N}{2} \log (2\pi mkT) \right) \end{equation}\] となる。

















この系の圧力\(p\)は、\(p = -\frac{\partial F}{\partial V}\)から計算することができる。なぜならば、 \[\begin{equation} F = U - TS \end{equation}\] より、 \[\begin{equation} \frac{\partial F}{\partial V} = \frac{\partial U}{\partial V} = -p \end{equation}\] を得る(\(dU = -pdV + TdS\)より)。したがって、 \[\begin{equation} p = -\frac{\partial F}{\partial V} \end{equation}\] となる。

















\[\begin{equation} F = -kT\log Z = -NkT \left( \log V + \frac{3N}{2} \log (2\pi mkT) \right) \end{equation}\] より、 \[\begin{equation} p = -\frac{\partial F}{\partial V} = \frac{NkT}{V} \end{equation}\] すなわち、理想気体の状態方程式、 \[\begin{equation} pV = NkT \end{equation}\] を得る。これはカノニカル分布により、ミクロな系である1個1個の粒子がもつ位置と運動量から、マクロな系である理想気体が満たす方程式が導けたことを意味する。

















 レポート課題: 以下、期末テストの過去問より。

  体積 V の容器に封入されている粒子数 N の理想気体を考える。粒子 \(i\) の位置と運動量を各々 \(\boldsymbol{q}_i = (q_{i,x}, q_{i,y}, q_{i,z})\), \(\boldsymbol{p}_i = (p_{i,x}, p_{i,y}, p_{i,z})\)とする(\(i = 1, ..., N\))。以下の問題を解け。

  (1) N=1 のとき、カノニカル分布の分配関数を計算せよ。

  (2) N \(\neq\) 1 のとき、カノニカル分布の分配関数を計算せよ。

  (3) 上記の問い(2)の状況において、ヘルムホルツの自由エネルギーを求めよ。

  (4) 上記の問い(2)の状況において、圧力を求め、理想気体の状態方程式を導け。



















本講義のまとめ