問:校長好,上完統合課程兩週,目前文章差不多了,剩下文獻評分、摘要,還有 discussion 的一半未完成。我想問的是,我 subgroup 分組後,有一組的 Hedges’ g = 1.1,請問會不會太高。老師上課有說,搞錯標準差標準誤,會導致效果太好,但我有檢查過,該轉換的都有轉換,應該沒錯。
答:(蔡依橙)
如果 Hedges’ g 算出來 1.1,其實還好,的確是頗為有效,但還不算是異常。那種因為轉換錯誤而搞錯的,常常都是 ±3 或 ±4 的等級,很誇張。你如果特別檢查過就沒問題了。
一般 Hedges’ g 與效果的對應,是這樣認定的。
- Small effect = 0.20
- Medium effect = 0.50
- Large effect = 0.80
實務上,的確有時候,明明自己都檢查過,但整體效應值就是 1.0 左右,甚至更高,療效有點太神奇。我們作為統合分析作者的角色,就是確認原始研究的資料我們沒看錯,這樣就可以了。
至於為什麼會有效成這樣,這不好說,可能有些研究的真實性存疑,可能人家執行研究時挑選病人挑得太好,可能人家報結果的時候數字有抄錯。但除非你有確切證據,不然我們都是基於信任的態度去閱讀相關文獻。
對了,這也是為什麼,如果在找統合研究時,我發現這個主題曾經有研究者造假,導致文章撤回,甚至成為學術醜聞時,這個領域我是不碰的。因為審閱者通常是這行專家,他如果問我,「這個領域曾經有學術造假,你怎麼確定你現在收入的研究,日後不會被發現造假而撤回?」這問題其實是沒辦法回答的。
有疑慮的領域就不要做了。
不過,我覺得你的 1.1 這樣的數字還好,你也仔細檢查過,這樣就善盡自己的責任了。
上課就送 Office Hour