記述統計

代表値と散らばりの尺度

• 代表値と同じくらい散らばりの尺度も注意すべき
• 代表値や散らばりの尺度のように、変数の分布の特徴を示す統計量を記述統計 descrptives、または要約統計という
• 連続変数についてはテキストを参照

二値変数 の場合

• 二値変数: yes/no のように、とりうる値が二つしかない変数 dichotomous variable, binary variable とも
• 一方の比率を示せば十分:
• 例えば 5 人の人に内閣を支持するか尋ねた結果が以下の通りだったら、yes が 60%
  • yes, no, no, yes, yes

二値変数の比率は平均値と見なせる

• 一方のカテゴリに1, 他方に 0 を割り振って平均値を計算すると、1 を割り振ったカテゴリの比率に一致
• 前の例で、yes に 1 、no に 0 を割り振ると、1, 0, 0, 1, 1 . 平均は 0.6, yes の比率と一致

3 カテゴリ以上ある離散変数

• カテゴリが 3〜5 程度なら、度数分布表を示すのが良いと思う
• それ以上だと、比率の高いカテゴリ、上位 5 つ程度の名前と比率を示すのが良いと思う
• それ以外にも、最頻値、質的分散／エントロピーといった記述統計が用いられることも

多様性とは？

A, B, C, D を民族名とすると、下記で最も「多様」な地域は？

• 甲：A 100%, B 0%, C 0%, D 0%
• 乙：A 60%, B 40%, C 0%, D 0%
• 丙：A 60%, B 30%, C 10%, D 0%
• 丁：A 60%, B 20%, C 20%, D 0%
• 戊：A 25%, B 25%, C 25%, D 25%

多様性の程度を比較する場合、多様性を数量化できると便利な場合も

質的分散 qualitative variance の定義

ある質的変数が \(i=1, \; \ldots\; , \; K\) のカテゴリをとるとき、\(i\) というカテゴリの比率を \(r_i\) とすると質的分散は、 \[ \frac{1 - \sum_{i=1}^{K}r_i^2}{2} \] である。全員が一つのカテゴリに属すときに質的分散はゼロ、無数のカテゴリに人々が分かれ、どのカテゴリも比率が 0 に近づくとき質的分散も 0.5 に近づく

質的分散の計算例

• 甲\(\frac{1 - (1^2 + 0^2 + 0^2 + 0^2)}{2} = 0\)
• 乙：\(\frac{1 - (0.6^2 + 0.4^2 + 0^2 + 0^2)}{2} = 0.24\)
• 丙：\(\frac{1 - (0.6^2 + 0.3^2 + 0.1^2 + 0^2)}{2} = 0.27\)
• 丁：0.28
• 戊： 0.375

連続変数の場合

• 平均値、分散、標準偏差については省略
• これらは推測統計で役立つのでよく使われるが、変数の分布の一面を要約するに過ぎない
• 外れ値の影響を除去したい場合、中央値や四分位範囲などが用いられるし、
• 分散／標準偏差は変数のスケールの影響を受けるので、変動係数やジニ係数が用いられることも

外れ値 outlier

• 連続変数の値のうち他の値と「顕著に」異なるもの
• 例：ある会社の新入社員 16 人の初任給（手取り、万円）が以下の通りだったとする

• 最後の114万円が外れ値
• 外れ値の数学的定義はいくつかあるが、四分位数を定義した後にそのうちの一つを説明する

外れ値は平均値への影響大

• 前ページの初任給の平均は 24.1 万円だが、外れ値を除いた場合の平均は、18.1 万円
• 他の事例を除いても、これほど大きく平均値は変化せず
• 外れ値は「特別」なので、データから削除する場合も
• しかし、外れ値が測定や入力のミスでなければ、その存在は現象の一部として認識すべき
• ただ、外れ値に影響されない代表値があると便利な場合も（例えば収入や資産の研究）
• 何を知りたいかに応じて外れ値は処理すべし

中央値 median *

• 中央値：データを昇順で並べ替えたとき、ちょうど「真ん中」の値
• サンプルサイズ \(N\) が奇数ならば、\((N+1)/2\)番目の値が中央値
• 偶数ならば、\(N/2\)番目の値と\(N/2+1\)番目の値の平均が中央値
• 前々ページの例では、\(N=16\) なので、8番目の値 \(=18\) と9番目の値 \(=18\) の平均値 \(= 18\) が中央値
• 最大値や最小値の値が変わっても、中央値は変わらない。つまり外れ値の影響は無い

四分位数 quartile *

• データを昇順で並べ替えたとき中央値と最小値の「真ん中」の値を第 1 四分位数、中央値を第 2 四分位数、中央値と最大値の「真ん中」の値を第 3 四分位数、という。
• 第 1, 第 3 四分位数の計算の仕方も何通りかあるが、この授業では google spreadsheet の =percentile() 関数で 25 パーセンタイル、75 パーセンタイル を求めればよい（パーセンタイルについては後述）
• 前々々ページの例では、第 1 四分位数が 18、第 3 四分位数が 18.5 。

パーセンタイル percentile

• データを昇順で並べ替えたとき、下から10%のところの値を 10パーセンタイル、30%のところの値を30パーセンタイル、一般に q%のところの値を qパーセンタイル、という。
• 中央値は 50パーセンタイル、第1、第3四分位数は 25パーセンタイル、75パーセンタイル、である。google spreadsheet では =percentile(データ, q) で計算できる。

変動係数 Coefficient of Variation

• 標準偏差を平均値で割った値。変数を \(a \; (a \neq 0)\) 倍しても変動係数は変わらず

外れ値と分布に関する知識

• 変数の分布が既知であれば（例えば標準正規分布）、どのような値が例外的に大きい／小さいのかわかるが、社会学ではそういう状況はほとんどない
• 分布について正確にわからなくても、前述の初任給の例のように「常識的にこれぐらい」ということを知っていれば、その「常識」にもとづいて外れ値を区別できる場合も

テューキーの境界 Tukey’s Fences *

• 分布が未知でも機械的に外れ値を識別する目安として、Tukey’s Fences が有名。四分位範囲を\(IR\)、第1、第3四分位数を \(q_1, \; q_3\)とすると、Tukey’s Fences は \[ [ q_1 - 1.5 \times IR, \qquad q_3 + 1.5 \times IR ] \] この下限値より小さい値や上限値より大きい値が外れ値。表 1 では \(18 - 1.5 \times 0.5 = 17.25\) 未満、\(18.5 + 1.5 \times 0.5 = 19.25\) より大きい、値が外れ値

変数の標準化が必要な背景 1

• 熟練の出題者であっても、試験の難易度を完全にコントロールすることは困難で、試験によって難易度にバラツキが生じることは珍しくない
• また受験者数も試験ごとに異なる
• 上記のような場合、点数や順位は、受験者中の相対的な成績のよさの指標として不適切な場合も。
  • 前回より点数が上がっても今回は試験が簡単だったからかも?
  • 前回より順位が上がっても今回は受験者数が少なかったからかも?

変数の標準化 standardization *

• 変数 \(x_i \; (i = 1, \; 2, \; \ldots, \; N)\) に以下のような正の一次変換を施し、解釈を容易にしたり、比較しやすくしたりすることを標準化という。 \[ a + b x_i \qquad (\mathrm{ただし} \; b > 0) \tag{1} \]
• 標準化にもいろいろあるが、代用的なものを以下で紹介。

Z得点の特徴と応用

• Z得点の平均は必ず 0 、標準偏差は 1
• 平均や標準偏差の大きく異なる変数どうしを足し合わせて、何かの指標とする場合、いずれの変数も Z得点に変換してから足し合わせる場合あり
• もとの変数が正規分布しているなら、絶対値が 1.96 以上になる確率は 5%、2.58 以上は 1%、3.29以上は 0.1% なので、Z得点に変換すれば、どの程度「外れ値」なのかは見当がつく
• 相対的な成績に関しても、Z得点でだいたいわかる