[問題] 對控制 FWER 和 FDR 結果詮釋的差別

Family-Wise Error Rate (FWER) 是至少有一次偽陽的機率 False Discovery Rate (FDR) 是偽陽數和總拒卻虛無假說數的比例之期望值 對同一個涉及多重比較假說的統計推論，使用 FWER 和 FDR 所得結果會有怎 樣不同? 例如，在單比較統計推論問題，對所得顯著結果的解釋是，另外對這個問題 做許多次測試的推論結果，雖然不必然每次都相同，但是我們可以聲稱，這許 多次的測試結果，有 95% 會落在第一次測試所得的信心區間之內。 那麼，在多重比較的問題呢? 控制 FWER 和 FDR 所得的第一次結果，再經過 多次隨機測試做驗證之後，我們能夠在給定信心水準下聲稱的結果有何差異? 具體例子像是測試五種飼料對豬隻增肥效果，將效果大小由大而小排列。這 會需要 C(5,2) = 10 重測試才能決定這五種飼料的增肥排列。用控制 FWER 和 用控制 FDR 得到的推論結果，會有何不同? 一、FWER，用 Bonferronin 修正 就整體假說測試言，長期來看，有百分之九十五的結果會如初次測試這般排 列。對於整體中的每一個個別測試言，長期來看，有千分之五的結果會如初次 測試這般。 二、FDR，用 Benjamini-Hochberg 修正 就整體假說測試言，長期來看，預期的偽陽數對總顯著數之比值不變，但是 排列結果無法判斷。因為每次隨機抽樣測試，個別測試結果並不受控制，不像 使用 FWER 時有控制其偽陽機率。既然只控制預期的整體偽陽數對顯著數之比 值，每次前次測試要保持初次排列的顯著與否不受控制，所以每次究竟怎排列 全不可預測。 就個別測試言，FDR 只控制整體，所以無法預測。 兩種誤差控制的差異，如同上面描述的那般嗎? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.243.141 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1727688810.A.934.html