Statistics: 有意水準5%とは?, R ver. 1

I.ギャンブラーの誤謬推理   「フェアなコインで5回続けて表が出たので、次は裏が出る確率が高い」が論理的な誤りであることは「論理的」に考えればわかります。 フェアなコインは、表と裏のでる割合が50:50であるというだけではありません。例えば、次のような出かたをするコインを何回も投げれば、表と裏の出る割合はほぼ50:50に近づきますが、インチキなコインです。だって、次回の結果を予測できるのですから。   表、表、表、表、表、裏、裏、裏、裏、裏、表、表、表、表、表、、、   「フェア」なコインは、次の結果を予測できないコインです。つまり、No successful …

Continue reading

Statistics: ケインズ『確率論』を読む ver. 1

I.ケインズ『確率論』を読む   読むといっても長いのですべては読めないと思いますが、ケインズの確率論の基本的な立場を彼自身の著作で確認したいと思います。   確率の解釈の分類については次に書きました。   確率の解釈を分類   『確率論』原文は次にリンクしました。   確率の解釈リンク集   II.A Treatise on Probability   John Maynard Keynes (1883-1946)は1906年10月に公務員としてロンドンのthe Indian Officeで働きはじめましたが、そこで、フェ…

Continue reading

Statistics: 統計の基礎からベイズ統計までの簡単な解説 ver. 1

趣味としてPythonやRでデータを扱っていますが、統計は独学です。というか、ちゃんと学んでいないので、基礎に立ち返って学びたいと思っていましたが、次にわかりやすくまとめられていました。統計をこれから学ぶ人にもよい入門になっています。 私の理解した範囲でまとめますが、元を読んだ方がわかりやすかもしれません。誤解や用語の不適切な場合があると思いますが、気付き次第修正します。   Frequentist And Bayesian Approaches In Statistics   統計学の手法は、大きく記述統計(descriptive statistics)と推測統計(inf…

Continue reading

Statistics: 確率の解釈を分類 ver. 2

Ian Hacking氏の An Introduction to Probability and Inductive Logicによる分類をまとめました。 いろいろな分類の仕方があるでしょうし、私が上記の主張を誤解しているところもあるかと思いますが、分類しておいた方が学びやすいので、現時点での理解をメモしておきます。間違いがわかれば修正します。   I.確率の解釈の分類   1.frequency-type probability a.limiting frequency: 数学的極限 John Venn (1834–1923), Richard von Mises (18…

Continue reading

Statistics: No successful gambling system is possible, python, Monte Carlo simulation, ver. 2

Pythonでギャンブラーの戦略をPythonでシミュレートします。 次に解説されているモンテカルロ法によるシミュレーションのスクリプトを学びます。 Monte Carlo Introduction   ランダムな結果を出すコインやサイコロやルーレーットに対しては、どのような賭け方(strategy, system)をしても、勝率をあげることはできない、、、というか、むしろ、そのような戦略がないことがランダム性であるとされます。実際にそうなのか、Pythonでランダムな数を出すルーレットを作って確かめます。 1から100までのルーレットがあります。1から50までと100が出ると親の勝…

Continue reading

Statistics: Gambler’s fallacy, Python ver. 5

「論理的に考えなさい」と言われることが多いと思いますが、「論理的思考」とは何かと聞かれると簡単には答えられません。そもそも、思考はすべて論理的だと言った哲学者(L. Wittgenstein)もいます。 統計の世界ではよく知られているギャンブラーの誤謬推理を取り上げて、論理的思考について考えます。 シミュレーションの全スクリプトは次に公開しています。   https://notebooks.azure.com/shibatau/projects/gamblersfallacy   I.ギャンブラーの推理   コインを投げて裏表を記録すると次のようになりました。 &…

Continue reading

Statistics: 確率の解釈リンク集 ver. 1

何年か前にはやりの「ベイズ統計」を理解したくて、確率の解釈についてまとめようとしましたが途中で投げ出しました。 少し調べようと思い、まず、リンク集を作成します。   I.リンク集   1.古典   Thomas Bayes, “An essay towards solving a Problem in the Doctrine of Chances“   John Maynard Keynes, A Treatise on Probability   マクロ経済学で知らない人はいななKeynesですが、統計の世界ではlo…

Continue reading

Statistics: データの正規化と標準化とリスケールの区別, Python ver. 1

Normalisingとstandardizingとrescalingの区別を学びます。 解説は次にありますが、理解のために適当にグラフを加えました。   How, When and Why Should You Normalize / Standardize / Rescale Your Data?   I.データのロード   データは次にあります。1GBほどのデータです。   Lending Club Loan Data   データが大きいので30000行、3列のみ読み込みます。     II.データを視覚化 &nbsp…

Continue reading

Statistics: 正規分布を描く, Python

正規分布のグラフをPythonで描きました。テキストの描き方は次を参考にしました。   Fancytextbox Demo   いろいろな描きたがあるようですが、グラフに色をつけるのはfill_between()を使用します。     import numpy as np import matplotlib.pyplot as plt from scipy.stats import norm x = np.arange(0,100,0.1) mu = 50 sigma = 10 range1 = (30 < x) & (x < 40)…

Continue reading

Statistics: 正規分布を描く, R, ggplot

平均と標準偏差を指定してグラフを描きますが、あとは手書きで重ねただけです。 もう少しこったものを作ろうと思いましたが、ダウンロード版のR or RStudioのバージョンの関係か、ライブラリspでエラーがでているので、これをインストールしようとして、インストールを繰り返して終了しません。たぶん、バージョンをもどせばできるのだと思います。 spは画像にかかわるようで、普通のグラフは描けますがベースのpolygonも使えず色を濡れません。ネットで情報を探しましたがみつけることができずあきらめました。これで半日過ごしました、、、 ggplotの場合画像を重ねればよいのですが、矢印とかギリシャ文字とか…

Continue reading