2011年5月3日 星期二

建立信度、效度?

近年來常常在研究生論文中看到「建立信度、效度」這一用語,常覺得好笑。真不知道要說這是因為觀念錯誤而導致用詞不當,還是因為人云亦云,不加思辨,而導致觀念錯誤?

我們可以說:「編擬」、「建構」、或「發展」一個測驗,因為該測驗是無中生有,一點一滴逐步建立起來。但是「信度」是編好測驗之後,研究者想要知道它使用在某一類對象上間隔不同時間時的前後一致性(重測信度),或是它用於多人主觀評分時的評分者間一致性 (評分者間一致性),或者是所測特質的純度(內部一致性),因此信度研究是指用不同方法從不同角度檢驗它不受外來因素干擾,免於隨機誤差的程度。

簡單地說,信度是依附著特定測驗的內容及施測程序而存在,是無從憑空建立起的。

效度則是指該測驗施測於某種對象,並以其結果做某種決策時的有效程度。所以一個測驗有多少種用途,就會有多少種效度研究。

我們會請專家審查該測驗的構念分析、規格明細表、及試題內容三者的邏輯性及適切性(驗證該測驗的內容效度、邏輯效度);或者找到最有代表性的外在效標與測驗 分數求相關,以證明它真能測到所要測的特質(驗證該測驗的效標關連效度);或者是以因素分析、假設考驗等方法驗證測驗分數結構與當初編製測驗的構念相吻合 的程度(驗證該測驗的構念效度)。

所以效度也只是在測驗編製好之後,在正式大規模使用之前的性能驗證工作,它無從建立起。

至於 Cross Validation 一詞,最好翻譯成「交互驗證」,它是指測驗編好之後,編製者常以建立常模的樣本進行效度研究,因此其結果常被質疑沒有可類推性。而交互驗證則是由不同的研究者以不同的樣本驗證此一測驗的效度,若是換了研究者、換了樣本,測驗結果在使用上仍然有效,那麼這測驗才是真的有效。

沒有留言: