[問題] 平均的最小方差近似

作者 saltlake (SaltLake)

時間 2024-08-07 07:44:04

留言 29 ( 0推 0噓 29→ )

一般我們做最小方差近似，就是把(樣本)數據代入模型，然後根據最小方差的原理，求出模型的參數組，然後就用這參數組代入模型，去估計數據點以外的反應(或函數)值。可是這些參數其實也是隨機變數，所以也該有個機率分布函數、平均值、和標準差。那如果我們把樣本數據隨機分成十組，用這十組數據分別求出十組參數組，然後求出參數值中每一參數的平均值，再用這組參數去估計數據點以外的反應。這個平均的最小方差函數得到的估計值，會否「比較好」? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.36.207.231 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Statistics/M.1722987846.A.717.html

留言

→ yhliu 參數也是隨機變數？你確定？ 08/07 08:19 1F

有本書用最小方差直線解釋 Y = a_0 + a_1*x a_0 和 a_1 是從隨機樣本資料 x 計算來的，所以也帶有隨機性而為隨機變數該書還給了該直線參數 a_0 和 a_1 期望值、標準偏差、和信心區間的公式

→ yhliu 統計推論有兩大學派，一個是頻率論學派，一個是貝氏學派。 08/07 08:21 2F

→ yhliu 當然，除此之外還有其他學派，如費氏學派，但主要還是兩派 08/07 08:22 3F

→ yhliu 頻率論的觀點認為：群體是固定定，也就是說參數是非隨機的 08/07 08:24 4F

→ yhliu 只是我們不知道其值，所以藉隨機樣本來猜測，所以評估標準 08/07 08:26 5F

→ yhliu 是依抽樣機制衡量平均誤差。而貝氏學派認為資料是已知的， 08/07 08:27 6F

→ yhliu 考慮其隨機性沒必要；參數是未知的，所以用隨機模型來描述. 08/07 08:28 7F

→ yhliu 當然在頻率論也可以把參數當成隨機的，例如 ANOVA 的隨機效 08/07 08:30 8F

→ yhliu 果模型，迴歸分析的隨機係數模型，但最終都有未知其值的固 08/07 08:32 9F

→ yhliu 定參數；而在貝氏分析，多層次貝氏模型的最高階參數也是隨 08/07 08:33 10F

→ yhliu 機的。在任一模型下，總有個最適推論，這通常都是應用全部 08/07 08:35 11F

→ yhliu 樣本資料；資料先分組而後綜合分組分析的方法，通常是為了 08/07 08:38 12F

→ yhliu 特殊目的。例如 Jackknife, bootstrap 是為了估計參數估計 08/07 08:39 13F

→ yhliu 的誤差；把資料分兩部分一部分用於估計參數值另一部分當測 08/07 08:40 14F

→ yhliu 試，是為了模型適當性的交叉驗證；把資料按某種標準分組分 08/07 08:42 15F

→ yhliu 別估計是為了更適當描述資料模型等等。 08/07 08:43 16F

※ 編輯: saltlake (114.36.207.231 臺灣), 08/07/2024 08:56:43

→ recorriendo 你都看到分布了代進去就知道了吧 08/07 20:59 17F

→ recorriendo y_hat=β_hat‧x, β_hat ~ N(β,(X^TX)^-1σ^2) 08/07 20:59 18F

→ recorriendo 所以 var(y_hat)=x^T(X^TX)^-1xσ^2 現在你的X只有 08/07 21:01 19F

→ recorriendo 原本十分之一如果X是獨立抽樣且每個column不相關 08/07 21:04 20F

→ recorriendo 則(X^TX)^-1只有對角線且十分之一的data就讓每個 08/07 21:07 21F

→ recorriendo entry大十倍然後你取平均就只是讓var變回跟原來一樣 08/07 21:08 22F

意思是所有資料都用來反算參數比較好? 如果分群反算參數，以估計參數信心區間，那麼之後把得到的參數平均後再代入線性模型會比較可靠? 倘若是一般的(非線性)模型呢?

※ 編輯: saltlake (114.36.207.231 臺灣), 08/07/2024 22:39:05

→ yhliu 模型不確定，例如迴歸函數不確定是線形的，以前做法是增加 08/08 08:10 23F

→ yhliu 由線項去檢測，或經由散佈圖或殘差圖診斷以了解較適當的迴 08/08 08:12 24F

→ yhliu 歸函數；現今由於計算能力大幅提高，採用樣條迴歸，局部線 08/08 08:14 25F

→ yhliu 性，核迴歸等方法建立樣本迴歸函數，但這些方法有個主要缺 08/08 08:16 26F

→ yhliu 點是外延困難，甚至非公式化。至於模型參數估計誤差之估計 08/08 08:19 27F

→ yhliu 或參數信賴區間之計算，除公式推導外，較一般性的方法是利 08/08 08:20 28F

→ yhliu 用 bootstrap 重抽法。 08/08 08:21 29F

關於參數估計誤差或信賴區間的公式推導，目前僅查到最簡單的線性模型者，請問有哪些書提供其他模型的推導? 或者要找不同的模型堆導，有甚麼關鍵字有助從學術論文裡面找到?

※ 編輯: saltlake (114.36.207.231 臺灣), 08/08/2024 08:28:15

[問題] 平均的最小方差近似

留言

最新文章