なぜ不偏標本分散を計算するときにn-1で割るのか-Shinoryo's Weblog

Chuk YongによるPixabay(https://pixabay.com/)からの画像

こんにちは, Shinoryoです.

今回は, 不偏標本分散を計算するときに $n - 1$ で割っている理由を, 数学的な観点でまとめてみたいと思います.

目次[非表示]

1前提
2不偏標本分散を計算するときにn-1で割る理由
3不偏推定量とは何か？
- 3.1推定量とは
- 3.2不偏推定量とは
4なぜ, 不偏標本分散は母分散の不偏推定量であるのか？
- 4.1標本分散は母分散の不偏推定量ではない
- 4.2不偏標本分散は母分散の不偏推定量である
5Pythonコードで実感
6参考にしたサイト等
7脚注

前提

平均 $μ$ , 分散 $σ^{2}$ の母集団が存在する.
母集団から, 大きさが $n$ である標本( $x_{1}, x_{2}, \dots, x_{n}$ )を抽出する.

標本平均(sample mean)とは, 標本の平均である:
$\begin{aligned} (1) & \bar{x} & = \frac{1}{n} \sum_{i = 1}^{n} x_{i} . \end{aligned}$
標本分散(sample variance)とは, 標本の分散である:
$\begin{aligned} (2) & s^{2} & = \frac{1}{n} \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} . \end{aligned}$
不偏標本分散(unbiased sample variance)^*1とは, 標本分散を $n / (n - 1)$ 倍した統計量である:
$\begin{aligned} (3) & u^{2} & = \frac{n}{n - 1} s^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2} . \end{aligned}$

不偏標本分散を計算するときにn-1で割る理由

不偏標本分散を計算するときに $n$ ではなく $n - 1$ で割る理由は, 不偏標本分散は母分散の不偏推定量であるからである.

次の2点を, 具体的に以下で説明する.

不偏推定量とは何か？
なぜ, 不偏標本分散は母分散の不偏推定量であるのか？

不偏推定量とは何か？

推定量とは

推定量(estimator): 抽出された標本から母集団の性質 $θ$ (平均, 分散など)を推定する際に用いる統計量.

推定量 $\hat{θ}$ は, 標本の抽出結果に依存する. 例えば, 母集団が $x_{1}, x_{2}, \dots, x_{100}$ の $100$ 個から成ると考える. 標本の大きさを $10$ とした場合, 標本の抽出結果には, 次のようにさまざまなパターンが存在する.

$x_{1}, x_{2}, x_{3}, x_{4}, x_{5}, x_{6}, x_{7}, x_{8}, x_{9}, x_{10}$
$x_{31}, x_{32}, x_{33}, x_{34}, x_{35}, x_{36}, x_{37}, x_{38}, x_{39}, x_{40}$
$x_{13}, x_{20}, x_{29}, x_{31}, x_{32}, x_{38}, x_{58}, x_{73}, x_{83}, x_{87}$

それぞれの抽出結果をもとに母集団の性質を推定しようとすれば, 当然その結果は異なる. このように, 推定量の値は, 標本の抽出結果に依存するのである.

後々, 推定量 $\hat{θ}$ に対する期待値・分散を考える. これは, 「推定量は標本の抽出結果に対する確率変数である」との考えが元になっている.

不偏推定量とは

不偏推定量(unbiased estimator): 不偏性を持つ推定量.

母集団の性質 $θ$ に対して, さまざまな推定量 $\hat{θ}$ が知られている. 推定量として好ましい性質の1つ^*2に, 次のようなものがある.

不偏性(unbiased): 推定量 $\hat{θ}$ の期待値が, 母集団の性質 $θ$ に等しい.
$\begin{array}{r} (4) & θ = E [\hat{θ}] . \end{array}$

なぜ, 不偏標本分散は母分散の不偏推定量であるのか？

標本分散は母分散の不偏推定量ではない

標本分散は母分散の不偏推定量ではない^*3. 実際,

\begin{aligned} (5) & E [\sum_{i = 1}^{n} {(x_{i} - μ)}^{2}] & = \sum_{i = 1}^{n} E [{(x_{i} - μ)}^{2}] = n σ^{2}, \\ (6) & E [{(\bar{x} - μ)}^{2}] & = V [\bar{x}] = V [\frac{1}{n} \sum_{i = 1}^{n} x_{i}] = \frac{1}{n^{2}} \sum_{i = 1}^{n} V [x_{i}] = \frac{1}{n^{2}} \times n σ^{2} = \frac{σ^{2}}{n} \end{aligned}

であるから,

\begin{aligned} E [s^{2}] & = E [\frac{1}{n} \sum_{i = 1}^{n} {(x_{i} - \bar{x})}^{2}] \\ = \frac{1}{n} E [\sum_{i = 1}^{n} {(x_{i} - μ) - (\bar{x} - μ)}^{2}] \\ = \frac{1}{n} E [\sum_{i = 1}^{n} {{(x_{i} - μ)}^{2} - 2 (x_{i} - μ) (\bar{x} - μ) + {(\bar{x} - μ)}^{2}}] \\ = \frac{1}{n} E [\sum_{i = 1}^{n} {(x_{i} - μ)}^{2}] - \frac{2}{n} E [(\bar{x} - μ) \sum_{i = 1}^{n} (x_{i} - μ)] + \frac{1}{n} E [\sum_{i = 1}^{n} {(\bar{x} - μ)}^{2}] \\ = \frac{1}{n} E [\sum_{i = 1}^{n} {(x_{i} - μ)}^{2}] - E [{(\bar{x} - μ)}^{2}] \\ = \frac{1}{n} \times n σ^{2} - \frac{σ^{2}}{n} \\ (7) & = \frac{n - 1}{n} σ^{2} \end{aligned}

である.

不偏標本分散は母分散の不偏推定量である

ここで,

\begin{aligned} (8) & u^{2} & = \frac{n}{n - 1} s^{2} \end{aligned}

とすれば,

\begin{aligned} (9) & σ^{2} & = E [\frac{n}{n - 1} s^{2}] = E [u^{2}] \end{aligned}

であるから, $u^{2}$ は母分散の不偏推定量である.

Pythonコードで実感

次のPythonコードを用いると, 母分散の推定には標本分散よりも不偏標本分散を用いた方がよいことを実感できます.

設定例：

$- 10$ から $10$ までの一様分布を用いて, 大きさ $100000$ の母集団を作成する.
母集団から大きさ $10$ の標本抽出を $1000$ 回行い, 標本分散の平均値, 不偏標本分散の平均値を求める.

結果出力例：

母分散：33.35
標本分散の平均値：30.10 (相対誤差：9.75%)
不偏標本分散の平均値：33.44 (相対誤差：0.28%)

参考にしたサイト等

株式会社ベンド様による「不偏標本分散の意味とn-1で割ることの証明」(学びTimes 高校数学の美しい物語)
不偏標本分散の意味とn-1で割ることの証明 | 高校数学の美しい物語
母分散，標本分散，不偏標本分散の意味と違い. n-1で割ることの感覚的な説明ときちんとした証明を解説.
古澤嘉啓(株式会社AVILEN)様による「不偏推定量とは？平均と分散を例に分かりやすく解説」
不偏推定量とは？平均と分散を例に分かりやすく解説｜AVILEN
この記事では, 「不偏推定量」について解説します.

脚注

*1：単に, 不変分散(unbiased variance)とも呼ぶ.

*2：他にも, 推定量として好ましい性質として次のようなものが挙げられる.

有効性(efficiency): 推定量 $\hat{θ}$ の分散が, 他の推定量の分散よりも小さい.
$\begin{array}{r} (10) & V [\hat{θ}] < V [{\hat{θ}}^{'}] . \end{array}$
一致性(consistency): 標本の大きさ $n$ が大きくなるにつれて, 推定量 $\hat{θ}$ が $θ$ に収束する.

*3：ちなみに, 標本平均は母平均の不偏推定量である. 実際,

\begin{aligned} E [\bar{x}] & = E [\frac{1}{n} \sum_{i = 1}^{n} x_{i}] \\ = \frac{1}{n} \sum_{i = 1}^{n} E [x_{i}] \\ = \frac{1}{n} \times n μ \\ (11) & = μ \end{aligned}

である.

なぜ不偏標本分散を計算するときにn-1で割るのか

前提

不偏標本分散を計算するときにn-1で割る理由

不偏推定量とは何か？

推定量とは

不偏推定量とは

なぜ, 不偏標本分散は母分散の不偏推定量であるのか？

標本分散は母分散の不偏推定量ではない

不偏標本分散は母分散の不偏推定量である

Pythonコードで実感

参考にしたサイト等

脚注

0 件のコメント:

コメントを投稿 (Please feel free to ask me about your questions! You can use Japanese or English in the comments.)

Search

About Me

Labels

Blog Archives

Twitter