Statistics: T-testを学ぶ, python ver. 1

Last Updated on September 22, 2020 by shibatau

メモです。誤解しているところがあるかもしれませんので、おかしな点がありましたが、リンク文書をご確認ください。

I.何を学ぶ?

 

次にしたがって、T-testをPythonで学びます。

 

T-Test

 

T-test using Python and Numpy

 

II.T-testとは?

 

1.説明

 

T-testによって、二つのグループの平均に統計的な関係があるかどうかを判定することができます。データは次の要件を満たす必要があります。

 

    1. 独立である。
    2. 無作為である。
    3. 正規分布している。

 

T-testでは、T-distribution(「t分布」。Student’s T Testとも呼ばれるのは、Studentというペンネームであったことに由来)を利用します。正規分布と似ていますが、サンプル数が少ない場合は次のグラフのように両端が厚く、短くなります。

 

Student’s t
Probability density function

vは自由度で、v=サンプル数−1です。

https://ja.wikipedia.org/wiki/T%E5%88%86%E5%B8%83

 

2.コメント

 

正規分布やt分布に頼らなくてもよいのでは?

例えば、2つのサンプルの一方の平均値が50で、他方が53であったとしたら、「一方のグループが他方より3高いことがわかった」でよいのではないかと思われるかもしれません。

しかし、この3の違いは「誤差」の範囲であるかもしれません。「誤差」の範囲でないとしもその違いをどの程度信頼できるかを知りたいと思いませんか?

ところで、ここで「誤差」というのは、間違ったデータ集めるとか、集計を誤るという意味ではありません。例えば、メンバーが100のグループがあって、平均が50とします。このグループから3つを取り出して平均すると、50に近い数値の場合が多いでしょうが、各回は、51や52、49や48かもしれません。この平均との差が誤差です。

先の例の平均が50と53の違いもこのような誤差の結果で、何回か繰り返すと差はなくなってしまう可能性があるのでしょうか?

ここで、正規分布やt-分布が活躍します。

一般に、多くのグループ、例えば、身長や学力などは正規分布にしたがって分布すると考えられています。正規分布というのは下の図に示したように、学力なら平均点に近い人が多く、高くなるほど、あるいは、低くなるほど少なくなる得点の分布です。

正規分布している場合には、下の図のように、平均値から標準偏差(sigma)の+/-1倍の範囲に全体の68%、平均から+/-2倍範囲に全体の95%が含まれることがわかっています。

、、、考えてみると、学力と身長はという全く関係ないデータが正規分布にしたがうのは不思議なことです。それだけではなく、どうして他の多くのものが正規分布するのか、、、その理由はわかっていない?のですが、多くのものの数的分布が正規分布にしたがっており、正規分布に上のような性質があるのは数学的に明らかにされています。

 

正規分布の密度関数のグラフ

Statistics: 正規分布を描く, R, ggplot

 

さて、平均の違いが統計的誤差の範囲かどうか、どの程度確かな違いであるかを集計するには、次の要件を満たす必要があります。

 

    1. もとのグループ(population)は正規分布している。
    2. サンプルは無作為に抽出されており、正規分布(に近い分布)である。

 

続く

About shibatau

I was born and grown up in Kyoto. I studied western philosophy at the University and specialized in analytic philosophy, especially Ludwig Wittgenstein at the postgraduate school. I'm interested in new technology, especially machine learning and have been learning R language for two years and began to learn Python last summer. Listening toParamore, Sia, Amazarashi and MIyuki Nakajima. Favorite movies I've recently seen: "FREEHELD". Favorite actors and actresses: Anthony Hopkins, Denzel Washington, Ellen Page, Meryl Streep, Mia Wasikowska and Robert DeNiro. Favorite books: Fyodor Mikhailovich Dostoyevsky, "The Karamazov Brothers", Shinran, "Lamentations of Divergences". Favorite phrase: Salvation by Faith. Twitter: @shibatau

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.