0219-2025 东新复 数学 P151

概率统计 期望与方差 柯西分布 特性函数 最小二乘法

Problem No. 2.2 (確率・統計)

以下の問に答えよ．$\mathrm{e}$ は自然対数の底，$\mathrm{i}$ は虚数単位である．
導出の過程を省略し，答えのみを示せ．

(問 1) 確率変数 $X,Y$ のそれぞれにおいて，平均 $\overline{X}=1,\overline{Y}=2$，分散 $s_X=1,s_Y=2$，また共分散 $s_{XY}=-1$ とする．確率変数 $U,V$ を $U=X+3,V=X+Y$ と定義する．

(1) $U,V$ の平均 $\overline{U},\overline{V}$ を求めよ．
(2) $U,V$ の分散 $s_U,s_V$ を求めよ．
(3) $U,V$ の共分散 $s_{UV}$ を求めよ．

(問 2) 確率変数 $X$ は標準コーシー分布

$$p(x)=\frac{1}{\pi (1+x^2)}$$
に従うものとする．以下の問に答えよ．

(1) 標準コーシー分布の累積分布関数 $F(x)$ を求めよ．
(2) 区間 $[0,1]$ の一様分布に従う確率変数を $U$ とする．確率 $\mathrm{Pr}(U\le F(x))$ を求めよ．ただし，$F(x)$ は(1)の累積分布関数である．
(3) (2)の $U$ に対して，$X=g(U)$ を満たす実関数 $g(U)$ を求めよ．
(4) 標準コーシー分布の特性関数 $\psi (t)={\int }_{-\infty }^{\infty }{\mathrm{e}}^{\mathrm{i}tx}p(x)\mathrm{d}x$ を求めよ．$t$ は実数である．
(5) $n$ 個の確率変数 $X_1,X_2,\dots ,X_n$ は独立で同一の標準コーシー分布に従うものとする．確率変数 $Z$ を $Z=X_1+X_2+\cdots +X_n$ と定義する．$Z$ が従う確率密度関数を求めよ．

(問 3) 確率変数 $X,Y$ の $N$ 個の標本の組 $(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)$ がある．この標本の組に対して，以下の統計量を定義する．

$$\overline{x}=\frac{1}{N}\sum _{i=1}^N{x}_i,\overline{y}=\frac{1}{N}\sum _{i=1}^N{y}_i$$
$${\sigma }_{xx}=\frac{1}{N}\sum _{i=1}^N{x}_i{x}_i,{\sigma }_{xy}=\frac{1}{N}\sum _{i=1}^N{x}_i{y}_i$$
以下の関数 $l$ を最小化することにより，回帰直線 $Y=A_0+A_{1}X$ を求める．
$$l(A_0,A_1)=\sum _{i=1}^N(y_i-A_0-A_1{x}_i{)}^2$$
ここで，関数 $l$ は $A_0=a_0,A_1=a_1$ において最小となるものとする．$a_0,a_1$ を $\overline{x},\overline{y},{\sigma }_{xx},{\sigma }_{xy}$ を用いて表せ．また，$a_0,a_1$ が共に一意に定まる条件を示せ．

---

解答：

(問1)
(1) 期待値の線形性より計算する．

$$\overline{U}=\mathrm{E}[X+3]=\overline{X}+3=1+3=4$$
$$\overline{V}=\mathrm{E}[X+Y]=\overline{X}+\overline{Y}=1+2=3$$
$$\boxed{\overline{U}=4,\overline{V}=3}$$

(2) 分散の公式を用いる．

$$s_U=\mathrm{V}[X+3]=\mathrm{V}[X]=s_X=1$$
$$s_V=\mathrm{V}[X+Y]=\mathrm{V}[X]+\mathrm{V}[Y]+2\mathrm{Cov}(X,Y)=s_X+s_Y+2s_{XY}=1+2+2(-1)=1$$
$$\boxed{s_U=1,s_V=1}$$

(3) 共分散の定義に従って計算する．

$$\begin{array}{rl}{s}_{UV}& =\mathrm{Cov}(U,V)=\mathrm{Cov}(X+3,X+Y)\\ & =\mathrm{Cov}(X,X)+\mathrm{Cov}(X,Y)+\mathrm{Cov}(3,X)+\mathrm{Cov}(3,Y)\\ & =s_X+s_{XY}=1+(-1)=0\end{array}$$
$$\boxed{s_{UV}=0}$$

(問2)
(1) 確率密度関数を積分して累積分布関数を求める．

$$F(x)={\int }_{-\infty }^x\frac{1}{\pi (1+t^2)}\mathrm{d}t={\left[\frac{1}{\pi }\arctan t\right]}_{-\infty }^x=\frac{1}{\pi }\arctan x-\left(-\frac{1}{2}\right)$$
$$\boxed{F(x)=\frac{1}{\pi }\arctan x+\frac{1}{2}}$$

(2) $U$ は $[0,1]$ 上の一様分布なので，$u\in [0,1]$ において $\mathrm{Pr}(U\le u)=u$ である．

$$\boxed{\mathrm{Pr}(U\le F(x))=F(x)=\frac{1}{\pi }\arctan x+\frac{1}{2}}$$

(3) 逆変換法を用いる．$U=F(X)$ とすると，$X=F^{-1}(U)$ となる．

$$\begin{array}{rl}& U=\frac{1}{\pi }\arctan X+\frac{1}{2}\\ & ⟹\arctan X=\pi \left(U-\frac{1}{2}\right)\\ & ⟹X=\tan \left(\pi \left(U-\frac{1}{2}\right)\right)=-\cot (\pi U)\end{array}$$

$$\boxed{g(U)=\tan \left(\pi \left(U-\frac{1}{2}\right)\right)}$$

(4) 留数定理を用いて特性関数を計算する．$t>0$ のとき上半平面，$t<0$ のとき下半平面で積分経路を閉じることで得られる．

$$\psi (t)={\int }_{-\infty }^{\infty }{\mathrm{e}}^{\mathrm{i}tx}\frac{1}{\pi (1+x^2)}\mathrm{d}x$$
$$\boxed{\psi (t)={\mathrm{e}}^{-|t|}}$$

(5) 独立な確率変数の和の特性関数は，各特性関数の積となる．

$${\psi }_Z(t)=\prod _{k=1}^n{\psi }_{X_k}(t)={\left({\mathrm{e}}^{-|t|}\right)}^n={\mathrm{e}}^{-n|t|}$$
これは尺度パラメータが $n$ のコーシー分布の特性関数である．よって逆フーリエ変換を行うと以下の密度関数を得る．
$$\boxed{p_Z(z)=\frac{1}{\pi }\frac{n}{n^2+z^2}}$$

(問3)
最小二乗法により $l(A_0,A_1)$ を最小化する．$A_0,A_1$ で偏微分して $0$ と置く．

$$\frac{\partial l}{\partial A_0}=-2\sum _{i=1}^N(y_i-A_0-A_1{x}_i)=0⟹\overline{y}-A_0-A_1\overline{x}=0⟹A_0=\overline{y}-A_1\overline{x}$$
$$\frac{\partial l}{\partial A_1}=-2\sum _{i=1}^N{x}_i(y_i-A_0-A_1{x}_i)=0⟹\sum _{i=1}^N{x}_i{y}_i-A_0\sum _{i=1}^N{x}_i-A_1\sum _{i=1}^N{x}_i^2=0$$
両辺を $N$ で割り，与えられた記号を用いる．
$${\sigma }_{xy}-A_0\overline{x}-A_1{\sigma }_{xx}=0$$
$A_0$ を代入する．
$${\sigma }_{xy}-(\overline{y}-A_1\overline{x})\overline{x}-A_1{\sigma }_{xx}=0⟹A_1({\sigma }_{xx}-{\overline{x}}^2)={\sigma }_{xy}-\overline{x}\overline{y}$$
$A_1$ について解く．
$$a_1=\frac{{\sigma }_{xy}-\overline{x}\overline{y}}{{\sigma }_{xx}-{\overline{x}}^2}$$
これを $A_0$ の式に代入する．
$$a_0=\overline{y}-\frac{{\sigma }_{xy}-\overline{x}\overline{y}}{{\sigma }_{xx}-{\overline{x}}^2}\overline{x}=\frac{\overline{y}{\sigma }_{xx}-\overline{x}{\sigma }_{xy}}{{\sigma }_{xx}-{\overline{x}}^2}$$
一意に定まる条件は分母が $0$ でないこと，すなわち $x_i$ の分散が正であること．
$${\sigma }_{xx}-{\overline{x}}^2>0$$
$$\boxed{\begin{array}{rl}{a}_0& =\frac{\overline{y}{\sigma }_{xx}-\overline{x}{\sigma }_{xy}}{{\sigma }_{xx}-{\overline{x}}^2}\\ a_1& =\frac{{\sigma }_{xy}-\overline{x}\overline{y}}{{\sigma }_{xx}-{\overline{x}}^2}\\ \text{条件: }& {\sigma }_{xx}-{\overline{x}}^2\ne 0\end{array}}$$

---

期望与方差的运算基于线性性质展开即可。柯西分布是一个典型的没有数学期望的重尾分布，它的特征函数无法通过泰勒展开与动量联系起来，通常需要借助复变函数中的留数定理进行计算。标准柯西分布的特征函数为拉普拉斯形式，由于独立随机变量和的特征函数等于各自特征函数的乘积，计算$n$个独立柯西变量之和的特征函数后，可以发现其结果仍然保持柯西分布的形式（具有稳定性），只是尺度参数发生了改变。在求取经验回归直线的系数时，利用最小二乘法对误差平方和分别就两个参数求偏导并令其为零，即可解出回归系数，其中确保系数有唯一解的条件是样本在自变量上的方差不为零，即所有样本点不能落在同一条垂直线上。