Home / 数学 /

なぜ不偏標本分散を計算するときにn-1で割るのか

投稿日：　

数学

B!
Chuk YongによるPixabay(https://pixabay.com/)からの画像

こんにちは, Shinoryoです.

今回は, 不偏標本分散を計算するときに$n-1$で割っている理由を, 数学的な観点でまとめてみたいと思います.

前提

  • 平均$\mu$, 分散$\sigma^2$の母集団が存在する.
  • 母集団から, 大きさが$n$である標本($x_1, x_2, \ldots , x_n$)を抽出する.
  • 標本平均(sample mean)とは, 標本の平均である:
    \begin{align} \bar{x} &= \frac{1}{n} \sum_{i = 1}^n x_i . \end{align}
  • 標本分散(sample variance)とは, 標本の分散である:
    \begin{align} s^2 &= \frac{1}{n} \sum_{i = 1}^n \left( x_i - \bar{x} \right)^2 . \end{align}
  • 不偏標本分散(unbiased sample variance)*1とは, 標本分散を$n / \left( n-1 \right)$倍した統計量である:
    \begin{align} u^2 &= \frac{n}{n - 1} s^2 = \frac{1}{n - 1} \sum_{i = 1}^n \left( x_i - \bar{x} \right)^2 . \end{align}

不偏標本分散を計算するときにn-1で割る理由

不偏標本分散を計算するときに$n$ではなく$n - 1$で割る理由は, 不偏標本分散は母分散の不偏推定量であるからである.

次の2点を, 具体的に以下で説明する.

  • 不偏推定量とは何か？
  • なぜ, 不偏標本分散は母分散の不偏推定量であるのか？

不偏推定量とは何か？

推定量とは

  • 推定量(estimator): 抽出された標本から母集団の性質$\theta$(平均, 分散など)を推定する際に用いる統計量.

推定量$\hat{\theta}$は, 標本の抽出結果に依存する. 例えば, 母集団が$x_1, x_2, \ldots , x_{100}$の$100$個から成ると考える. 標本の大きさを$10$とした場合, 標本の抽出結果には, 次のようにさまざまなパターンが存在する.

  • $x_1, x_2, x_3, x_4, x_5, x_6, x_7, x_8, x_9, x_{10}$
  • $x_{31}, x_{32}, x_{33}, x_{34}, x_{35}, x_{36}, x_{37}, x_{38}, x_{39}, x_{40}$
  • $x_{13}, x_{20}, x_{29}, x_{31}, x_{32}, x_{38}, x_{58}, x_{73}, x_{83}, x_{87}$

それぞれの抽出結果をもとに母集団の性質を推定しようとすれば, 当然その結果は異なる. このように, 推定量の値は, 標本の抽出結果に依存するのである.

後々, 推定量$\hat{\theta}$に対する期待値・分散を考える. これは, 「推定量は標本の抽出結果に対する確率変数である」との考えが元になっている.

不偏推定量とは

  • 不偏推定量(unbiased estimator): 不偏性を持つ推定量.

母集団の性質$\theta$に対して, さまざまな推定量$\hat{\theta}$が知られている. 推定量として好ましい性質の1つ*2に, 次のようなものがある.

  • 不偏性(unbiased): 推定量$\hat{\theta}$の期待値が, 母集団の性質$\theta$に等しい.
    \begin{align} \theta = \mathrm{E}[\hat{\theta}]. \end{align}

なぜ, 不偏標本分散は母分散の不偏推定量であるのか？

標本分散は母分散の不偏推定量ではない

標本分散は母分散の不偏推定量ではない*3. 実際,

\begin{align} \mathrm{E} \left[ \sum_{i = 1}^n \left( x_i - \mu \right)^2 \right] &= \sum_{i = 1}^n \mathrm{E} \left[ \left( x_i - \mu \right)^2 \right] = n \sigma^2 , \\ \mathrm{E} \left[ \left( \bar{x} - \mu \right)^2 \right] &= \mathrm{V}[\bar{x}] = \mathrm{V} \left[ \frac{1}{n} \sum_{i = 1}^n x_i \right] = \frac{1}{n^2} \, \sum_{i = 1}^n \mathrm{V} \left[ x_i \right] = \frac{1}{n^2} \times n \sigma^2 = \frac{\sigma^2}{n} \end{align}

であるから,

\begin{align} \mathrm{E}[s^2] &= \mathrm{E}\left[ \frac{1}{n} \sum_{i = 1}^n \left( x_i - \bar{x} \right)^2 \right] \nonumber \\ &= \frac{1}{n} \, \mathrm{E}\left[ \sum_{i = 1}^n \left\{ \left( x_i - \mu \right) - \left( \bar{x} - \mu \right) \right\}^2 \right] \nonumber \\ &= \frac{1}{n} \, \mathrm{E}\left[ \sum_{i = 1}^n \left\{ \left( x_i - \mu \right)^2 - 2 \left( x_i - \mu \right) \left( \bar{x} - \mu \right) + \left( \bar{x} - \mu \right)^2 \right\} \right] \nonumber \\ &= \frac{1}{n} \, \mathrm{E} \left[ \sum_{i = 1}^n \left( x_i - \mu \right)^2 \right] - \frac{2}{n} \, \mathrm{E} \left[ \left( \bar{x} - \mu \right) \sum_{i = 1}^n \left( x_i - \mu \right) \right] + \frac{1}{n} \, \mathrm{E} \left[ \sum_{i = 1}^n \left( \bar{x} - \mu \right)^2 \right] \nonumber \\ &= \frac{1}{n} \, \mathrm{E} \left[ \sum_{i = 1}^n \left( x_i - \mu \right)^2 \right] - \mathrm{E} \left[ \left( \bar{x} - \mu \right)^2 \right] \nonumber \\ &= \frac{1}{n} \times n \sigma^2 - \frac{\sigma^2}{n} \nonumber \\ &= \frac{n - 1}{n} \sigma^2 \end{align}

である.

不偏標本分散は母分散の不偏推定量である

ここで,

\begin{align} u^2 &= \frac{n}{n - 1} s^2 \end{align}

とすれば,

\begin{align} \sigma^2 &= \mathrm{E}\left[ \frac{n}{n - 1} s^2 \right] = \mathrm{E}[u^2] \end{align}

であるから, $u^2$は母分散の不偏推定量である.

Pythonコードで実感

次のPythonコードを用いると, 母分散の推定には標本分散よりも不偏標本分散を用いた方がよいことを実感できます.

GitHub - Shinoryo/UnbiasedVarianceCheck: Repeat sampling from a population and calculate the mean of the sample variance and the unbiased sample variance of the samples.

Repeat sampling from a population and calculate the mean of the sample variance and the unbiased sample variance of the samples. - GitHub - Shinoryo/UnbiasedVarianceCheck: Repeat sampling from a p...

設定例：

  • $-10$から$10$までの一様分布を用いて, 大きさ$100000$の母集団を作成する.
  • 母集団から大きさ$10$の標本抽出を$1000$回行い, 標本分散の平均値, 不偏標本分散の平均値を求める.

結果出力例：

母分散：33.35
標本分散の平均値：30.10 (相対誤差：9.75%)
不偏標本分散の平均値：33.44 (相対誤差：0.28%)

参考にしたサイト等

脚注

*1：単に, 不変分散(unbiased variance)とも呼ぶ.

*2：他にも, 推定量として好ましい性質として次のようなものが挙げられる.

  • 有効性(efficiency): 推定量$\hat{\theta}$の分散が, 他の推定量の分散よりも小さい.
    \begin{align} \mathrm{V}[\hat{\theta}] < \mathrm{V}[\hat{\theta}^\prime] . \end{align}
  • 一致性(consistency): 標本の大きさ$n$が大きくなるにつれて, 推定量$\hat{\theta}$が$\theta$に収束する.

*3：ちなみに, 標本平均は母平均の不偏推定量である. 実際,

\begin{align} \mathrm{E}[\bar{x}] &= \mathrm{E}\left[ \frac{1}{n} \sum_{i = 1}^n x_i \right] \nonumber \\ &= \frac{1}{n} \sum_{i = 1}^n \mathrm{E}\left[ x_i \right] \nonumber \\ &= \frac{1}{n} \times n \mu \nonumber \\ &= \mu \end{align}

である.