I.データはどこ？ 例えば、データ国会議員の年齢分布をグラフにしたいとします。米国議会については簡単です。国会ギンに関するデータサイトがいくつかあって、簡単にグラフを描くことができます。これについては、未完ですが次に書きました。 米国議会議員のの年齢構成米国国会のデータと大統領選の分析, tigris, gsheet 上で次のグラフを作成しました。一見すれば、全体として下院のグラフが上院より左によっている、つまり、若いということがわかります。 米国会員議員の年齢のヒストグラム 米国上院議員の年齢のヒストグラム 平均、最高、最低の集計結果は…
I.ギャンブラーの誤謬推理 「フェアなコインで5回続けて表が出たので、次は裏が出る確率が高い」が論理的な誤りであることは「論理的」に考えればわかります。 フェアなコインは、表と裏のでる割合が50:50であるというだけではありません。例えば、次のような出かたをするコインを何回も投げれば、表と裏の出る割合はほぼ50:50に近づきますが、インチキなコインです。だって、次回の結果を予測できるのですから。 表、表、表、表、表、裏、裏、裏、裏、裏、表、表、表、表、表、、、 「フェア」なコインは、次の結果を予測できないコインです。つまり、No successful …
I.ケインズ『確率論』を読む 読むといっても長いのですべては読めないと思いますが、ケインズの確率論の基本的な立場を彼自身の著作で確認したいと思います。 確率の解釈の分類については次に書きました。 確率の解釈を分類 『確率論』原文は次にリンクしました。 確率の解釈リンク集 II.A Treatise on Probability John Maynard Keynes (1883-1946)は1906年10月に公務員としてロンドンのthe Indian Officeで働きはじめましたが、そこで、フェ…
趣味としてPythonやRでデータを扱っていますが、統計は独学です。というか、ちゃんと学んでいないので、基礎に立ち返って学びたいと思っていましたが、次にわかりやすくまとめられていました。統計をこれから学ぶ人にもよい入門になっています。 私の理解した範囲でまとめますが、元を読んだ方がわかりやすかもしれません。誤解や用語の不適切な場合があると思いますが、気付き次第修正します。 Frequentist And Bayesian Approaches In Statistics 統計学の手法は、大きく記述統計（descriptive statistics）と推測統計（inf…
Ian Hacking氏の An Introduction to Probability and Inductive Logicによる分類をまとめました。 いろいろな分類の仕方があるでしょうし、私が上記の主張を誤解しているところもあるかと思いますが、分類しておいた方が学びやすいので、現時点での理解をメモしておきます。間違いがわかれば修正します。 I.確率の解釈の分類 1.frequency-type probability a.limiting frequency: 数学的極限 John Venn (1834–1923), Richard von Mises (18…
Pythonでギャンブラーの戦略をPythonでシミュレートします。 次に解説されているモンテカルロ法によるシミュレーションのスクリプトを学びます。 Monte Carlo Introduction ランダムな結果を出すコインやサイコロやルーレーットに対しては、どのような賭け方（strategy, system）をしても、勝率をあげることはできない、、、というか、むしろ、そのような戦略がないことがランダム性であるとされます。実際にそうなのか、Pythonでランダムな数を出すルーレットを作って確かめます。 1から100までのルーレットがあります。1から50までと100が出ると親の勝…
「論理的に考えなさい」と言われることが多いと思いますが、「論理的思考」とは何かと聞かれると簡単には答えられません。そもそも、思考はすべて論理的だと言った哲学者（L. Wittgenstein）もいます。 統計の世界ではよく知られているギャンブラーの誤謬推理を取り上げて、論理的思考について考えます。 シミュレーションの全スクリプトは次に公開しています。 https://notebooks.azure.com/shibatau/projects/gamblersfallacy I.ギャンブラーの推理 コインを投げて裏表を記録すると次のようになりました。 &…
何年か前にはやりの「ベイズ統計」を理解したくて、確率の解釈についてまとめようとしましたが途中で投げ出しました。 少し調べようと思い、まず、リンク集を作成します。 I.リンク集 1.古典 Thomas Bayes, “An essay towards solving a Problem in the Doctrine of Chances“ John Maynard Keynes, A Treatise on Probability マクロ経済学で知らない人はいななKeynesですが、統計の世界ではlo…
Normalisingとstandardizingとrescalingの区別を学びます。 解説は次にありますが、理解のために適当にグラフを加えました。 How, When and Why Should You Normalize / Standardize / Rescale Your Data? I.データのロード データは次にあります。1GBほどのデータです。 Lending Club Loan Data データが大きいので30000行、3列のみ読み込みます。 II.データを視覚化  …
正規分布のグラフをPythonで描きました。テキストの描き方は次を参考にしました。 Fancytextbox Demo いろいろな描きたがあるようですが、グラフに色をつけるのはfill_between()を使用します。 import numpy as np import matplotlib.pyplot as plt from scipy.stats import norm x = np.arange(0,100,0.1) mu = 50 sigma = 10 range1 = (30 < x) & (x < 40)…
