0179-2017 东新复 数学 P79

概率统计 概率论 数理统计 贝叶斯推断

表が出る確率が$\theta$，裏が出る確率が$1-\theta$のコインを考える．ただし，$0\le \theta \le 1$とする．
以下の問に答えよ．

(問1) 正の整数$n$に対して，このコインを独立に$n$回投げたとき，表が$x$回出る確率を求めよ．ただし，$x$は$0\le x\le n$を満たす整数とする．

(問2) 期待値$E[x]$, 分散$E[(x-E[x]{)}^2]$, 実数$t$に対する積率母関数$E[e^{tx}]$を求めよ．ただし，$e$は自然対数の底である．必要があれば，実数$a$, $b$, および正の整数$r$に対する二項定理

$$(a+b{)}^r=\sum _{k=0}^r\frac{r!}{(r-k)!k!}{a}^{r-k}{b}^k$$

を用いてよい．

(問3) 尤度$p(x|\theta )$を最大にする$\theta$を求めよ．

(問4) $\theta$の事前確率密度を

$$p(\theta )=\frac{{\theta }^{\alpha -1}(1-\theta {)}^{\alpha -1}}{{\int }_0^1{\tau }^{\alpha -1}(1-\tau {)}^{\alpha -1}d\tau }$$

と定める．ただし，$\alpha >1$である．$x$が与えられたもとでの$\theta$の事後確率密度$p(\theta |x)$を求めよ．

(問5) (問4)で求めた事後確率密度$p(\theta |x)$を最大にする$\theta$を求めよ．

(問6) 正の整数$m$に対して同じコインを更に独立に$m$回投げたとき，表が$y$回出た．ただし，$y$は$0\le y\le m$を満たす整数とする．(問4)で求めた事後確率密度$p(\theta |x)$を$\theta$の事前確率密度として用いたとき，事後確率密度$p(\theta |x,y)$を最大にする$\theta$を求めよ．

---

解答：

(問1)

$$\boxed{\frac{n!}{(n-x)!x!}{\theta }^x(1-\theta {)}^{n-x}}$$

(問2)
積率母関数$E[e^{tx}]$は

$$\begin{array}{rl}E[e^{tx}]& =\sum _{x=0}^n{e}^{tx}\frac{n!}{(n-x)!x!}{\theta }^x(1-\theta {)}^{n-x}\\ & =\sum _{x=0}^n\frac{n!}{(n-x)!x!}(\theta e^t{)}^x(1-\theta {)}^{n-x}\\ & =(\theta e^t+1-\theta {)}^n\end{array}$$

期待値$E[x]$は

$$\begin{array}{rl}E[x]& ={\frac{d}{dt}E[e^{tx}]|}_{t=0}\\ & ={n(\theta e^t+1-\theta {)}^{n-1}\theta e^t|}_{t=0}\\ & =n\theta \end{array}$$

$E[x^2]$は

$$\begin{array}{rl}E[x^2]& ={\frac{d^2}{d{t}^2}E[e^{tx}]|}_{t=0}\\ & ={\left[n(n-1)(\theta e^t+1-\theta {)}^{n-2}(\theta e^t{)}^2+n(\theta e^t+1-\theta {)}^{n-1}\theta e^t\right]|}_{t=0}\\ & =n(n-1){\theta }^2+n\theta \end{array}$$

分散$E[(x-E[x]{)}^2]$は

$$\begin{array}{rl}E[(x-E[x]{)}^2]& =E[x^2]-(E[x]{)}^2\\ & =n(n-1){\theta }^2+n\theta -(n\theta {)}^2\\ & =n\theta (1-\theta )\end{array}$$ $$\boxed{E[x]=n\theta ,E[(x-E[x]{)}^2]=n\theta (1-\theta ),E[e^{tx}]=(\theta e^t+1-\theta {)}^n}$$

(問3)
対数尤度関数$l(\theta )=\log p(x|\theta )$は

$$l(\theta )=\log \left(\frac{n!}{(n-x)!x!}\right)+x\log \theta +(n-x)\log (1-\theta )$$

$\theta$で微分して$0$とおく。

$$\begin{array}{rl}\frac{d}{d\theta }l(\theta )& =\frac{x}{\theta }-\frac{n-x}{1-\theta }\\ & =0\end{array}$$ $$\begin{array}{rl}x(1-\theta )& =(n-x)\theta \\ ⟹\theta & =\frac{x}{n}\end{array}$$ $$\boxed{\theta =\frac{x}{n}}$$

(問4)
ベイズの定理より事後確率密度$p(\theta |x)\propto p(x|\theta )p(\theta )$である。

$$\begin{array}{rl}p(\theta |x)& \propto {\theta }^x(1-\theta {)}^{n-x}\cdot {\theta }^{\alpha -1}(1-\theta {)}^{\alpha -1}={\theta }^{x+\alpha -1}(1-\theta {)}^{n-x+\alpha -1}\end{array}$$

正規化定数を補って

$$\boxed{p(\theta |x)=\frac{{\theta }^{x+\alpha -1}(1-\theta {)}^{n-x+\alpha -1}}{{\int }_0^1{\tau }^{x+\alpha -1}(1-\tau {)}^{n-x+\alpha -1}d\tau }}$$

(問5)
最大化する関数は$f(\theta )={\theta }^{x+\alpha -1}(1-\theta {)}^{n-x+\alpha -1}$である。対数をとり微分する。

$$\begin{array}{rl}\frac{d}{d\theta }\log f(\theta )& =\frac{x+\alpha -1}{\theta }-\frac{n-x+\alpha -1}{1-\theta }\\ & =0\end{array}$$ $$(x+\alpha -1)(1-\theta )=(n-x+\alpha -1)\theta$$ $$x+\alpha -1=(n+2\alpha -2)\theta$$ $$\boxed{\theta =\frac{x+\alpha -1}{n+2\alpha -2}}$$

(問6)
新たな事後確率密度$p(\theta |x,y)\propto p(y|\theta )p(\theta |x)$である。

$$\begin{array}{rl}p(\theta |x,y)& \propto {\theta }^y(1-\theta {)}^{m-y}\cdot {\theta }^{x+\alpha -1}(1-\theta {)}^{n-x+\alpha -1}={\theta }^{x+y+\alpha -1}(1-\theta {)}^{n+m-x-y+\alpha -1}\end{array}$$

(問5)の結果において、$x$を$x+y$に、$n$を$n+m$に置き換えることで最大値を与える$\theta$が得られる。

$$\boxed{\theta =\frac{x+y+\alpha -1}{n+m+2\alpha -2}}$$

---

这道题目主要考察了概率统计中关于二项分布及其参数估计的几个核心概念。前两问是基础的概率计算，要求写出二项分布的概率质量函数，并利用二项式定理推导矩母函数，进而通过对矩母函数求导来计算期望和方差，这是一种非常标准且高效的求矩方法。第三问考察了经典统计学中的极大似然估计，通过构建似然函数并求对数导数来寻找使得样本出现概率最大的参数值。第四问到第六问则转向了贝叶斯统计的框架。第四问引入了贝塔分布作为二项分布的共轭先验，说明了在观测到数据后，后验分布依然保持贝塔分布的形式，只是参数进行了更新。第五问要求在这个后验分布的基础上去寻找最大后验估计，也就是求后验概率密度函数的极值点。最后第六问展示了贝叶斯推断中的序贯学习过程，即前一次的后验分布可以作为下一次观测的先验分布，随着新数据的加入，参数的估计值会不断被更新，计算时只需将之前结果中的试验总数和成功次数替换为累加后的总数即可得到新的最大后验估计值。