講義だけで勝負しようとすると敗戦間違いなしだ。
講師の板書は達筆＆文字が小さくて読めない。今日は板書を一部あきらめた。
となりの子も「あれなんて書いてあるかわかる？」と聞いてきた。
Hypothesis testing
本日は「仮説検定」である。
先回は、母集団から抽出した標本（サンプル）情報を使って、母集団の統計的特性値を推定することに取り組んだ。（点推定・区間推定）
母集団 → 標本
Sampling
母集団（平均、比率、偏差…） ← 標本
Estimation
今回は、その標本情報によって母集団についての情報は支持されるかどうかを確かめる、といったところだ。
Hypothesis testing
母集団についての推定が棄却されるか否かを、無作為標本に基づき、判断することができる統計的方法。
道具：様々な検定（トライアル）
条件：検定母集団の分布、標本抽出方法、標本サイズ
Example
ある缶詰工場で、800gを瓶詰している。生産工程が適切に働いているか、サンプリングした。その結果、平均は815gであった。
どう解釈すれば良いか。
得られたサンプルの平均は800gから大きく外れている。以下のいずれか。
→ この工程は通常の機能を実行できていない。
または
→ 偏差はランダムな変動の範囲内に収まる。
回答は追加条件による：抽出方法、標本サイズ、標準偏差、分布
何の確からしさが回答に必要となるか
What does testing a hypothesis mean?
母集団についての statement を１次近似として正しいとみなす。
↓
他の情報で補完（標本について検定を行う e.g. 母集団分布など）
↓
検定関数の値を理論値と比較
↓
標本データが適切に振舞うか判断
（その決定は単なる確率的な主張であり、いわゆる有意水準関数である）
Steps of hypothesis testing
Statement about the population（conjecture）
１．Null hypothesis（帰無仮説）と alternative hypothesis（対立仮説）のセット
２．Test function value（検定関数値）を決める
３．p-value（p値）の決定
４．帰無仮説と対立仮説についての決定
Statement についての判断
１．Hypotheses
母集団についての statement
母集団の特性、母集団の分布
例：
工程はうまく働いている（μ = 800）
工程はうまく働いてない（μ ≠ 800）
工程は十分でない（μ ＜ 800）計画より少ない量
仮説：特定のルールに基づいた statement の定式化
Null hypothesis（帰無仮説）：H0
偏差はランダム性によって説明される
※「変化がない」「現状維持」という状態を帰無仮説とするのが基本
Alternative hypothesis（対立仮説）：H1
偏差はランダム性に適合せず、significant（有意）である
２．Test statistic
T（ y1, y2, ・・・, yn ）はタスクの性質に応じて選択されたランダムサンプルの要素の関数として定義される検定統計量。
・サンプルによって値は変化する。
・その確率変数は特定の条件とH0の確からしさを推定することで知られる。
Example（つづき）
ある缶詰工場で、800gを瓶詰している。生産工程が適切に働いているか、サンプリングした。その結果、平均は815gであった。
n = 144
μ = 815
s = 80
Hypothetical mean μ0 = 800
・Deviation：815 - 800 = 15
この差異は、生産工程が正しく機能していないと結論づけられるほど十分大きいか。（有意か）またはサンプリングによるランダム性の変動か。
H0：ランダム性 ⇄ H1：偏差は有意
標準誤差と比較してどのくらいか。
・検定関数
この値をどう解釈すべきか。
・分布と requirement level（必要水準）次第
平均を対象とした大標本検定の場合、分布は推定理論で知られている法則に従って発展する。
・68%以上の検定関数の値が - 1 から 1 の間にある
・95%以上の検定関数の値が -2 から 2 の間にある
・99%以上の検定関数の値が -3 から 3 の間にある
これだけだとわけがわからないので、だいたいのイメージを以下にしてみる。
「 - 1 から 1 の間」というのはハッチング部で、それが68%を占めるというイメージ。
2σになれば、ハッチング部は95%に広がる、といったイメージ。
白いままの部分は棄却域ということになる。
（サンプルの特性は偶然ではなく、母集団の特性が変化した）
Requirement level
H0について判断するが、確かなものではない。
・Type I error（第１種の誤り）
帰無仮説H0が正しいにも関わらず、H0を棄却する誤り。
・Type II error（第２種の誤り）
帰無仮説H0が正しくないにも関わらず、H0を棄却しない誤り。
Requirement level はtype I を通じて定式化される。
３．p-value
The significance level（有意水準）は type I error の許容尺度としてαを与える。
もしこれが小さければ、否定的な決断は難しくなり、大きい場合よりも受け入れやすい。
p-value は検定関数の与えられた値を対応する理論値で、それに基づき帰無仮説を棄却することにより、第１種の誤りがどれだけ大きいかを示す。
有意水準とp値を比較して決定を下す。
p > α の場合、帰無仮説（H₀）を受け入れる。
（前述のイメージで言えばハッチング範囲内ということ）
棄却することで許容される以上の大きな誤りを犯すならば、受け入れることを選ぶ。
Example（つづき）
ある缶詰工場で、800gを瓶詰している。生産工程が適切に働いているか、サンプリングした。その結果、平均は815gであった。
検定関数の値が2.25だった。これはどれだけ受け入れ可能か。
α = 1% acceptable（99%以上の検定関数の値が -3 から 3 の間にある）
α = 5% not acceptable（95%以上の検定関数の値が -2 から 2 の間にある）
p-value
• p値は統計プログラムパッケージによって算出される
• この場合、p値は2.4%であり、理論的には2.25の値を棄却することで大きな誤りを犯す可能性がある
→ 許容誤差 α = 1% の場合 → 棄却しない
→ 許容誤差 α = 5% の場合 → 棄却する
• α の通常の値は 1% から 10% の範囲であり、この範囲内の p値に基づく決定は慎重に行う必要がある
• p < 1% の場合、対立仮説（H₁）が妥当
• p > 10% の場合、帰無仮説（H₀）が妥当
と、ここでスライドは終わってしまうので、具体的な問題をやる。
We bought 100 pieces of bread in a bakery, their average weight was 980 grams. From this sample, we estimated the standard deviation of the weights, which turned out to be 15 grams. Prepare the confidence interval working with a confidence factor of 2 (accurate to 2 decimal places)!
Lower end of the confidence interval for the average weight of the breads: （ ）
Upper end of the confidence interval for the average weight of the breads:（ ）
A confidence factor of 2 roughly corresponds to which confidence level?
68%, 90%, 95%, 99%
サンプル数：n = 100
平均：μ = 980
標準偏差：σ = 15
信頼因子（confidence factor）：２
帰無仮説：H0 μ ≥ 980
対立仮説：H1 μ ＜ 980
標準誤差 σ/√n = 15 / √100
= 15/10
= 1.5
なので、 1.5 x 2 = 3
980 ± 3 = 977, 983
信頼水準（confidence level）は95%（信頼因子が２から）
In September 2018, a polling institute estimated the support of FIDESZ-KDNP at 60% among the entire Hungarian population based on a sample of 1200 people.
With a 99% confidence level, what is the margin of error (in percentage points, without the % sign, 3 decimal places)?
P = 60%
サンプル数：n = 1200
信頼水準（confidence level）：99% ⇄ 信頼因子：３
標準誤差SE = √P ( 1 - P ) /√n
= √0.6 ( 1 - 0.6 ) / √1200
= 0.014142
0.14142 x 3 = 0.042426
0.042426 x 100 = 4.2426%
= 4.423%
We would like to give an estimate for right-handed students among university students. In a sample of 113 people taken from the university's 1,000 students, 81 wrote with the right hand. With 95% confidence, at least how many people would you estimate the number of right-handed people among the university students (round to 2 decimal places)?
P = 81 / 113 = 0.716814...
サンプル数：n = 113
母集団：N = 1000
信頼水準（confidence level）：95% ⇄ 信頼因子：２
標準誤差SE = √P ( 1 - P ) /√n
= 0.042383794
（ x 2 ）= 0.08476758...
0.716814 - 0.084768 = 0.632046 ※最低何人？と聞かれているので下限（引き算）となる
1000 x 0.632046 = 632.046
= 632.05
Suppose that H0 : μ = 138 and H1 : μ ≠ 138 is tested using a sample with n = 120 elements at α=5%. The p-value is 0.068.
What is the decision?
a：H1 is accepted.
b：H0 is rejected.
c：H1 is rejected.
d：The information above is not enough to make a decision.
e：H0 is accepted
P値 > αのためH0を棄却しないため回答はcとe。
このブログは１週遅れとなってしまったが、11週は終了しており、来週12週が最後のセミナーとなる。そして期末テストが6/13(金)。
広告
 | データ分析の先生! 文系の私に超わかりやすく統計学を教えてください! 新品価格 |
0 件のコメント:
コメントを投稿