8. 試題的計分
標準 3.6
題型、作答方式、評分程序、和施測步驟需要在測驗的目的、測量的內容範圍、和所針對的受測群體的基礎上進行選擇。在可能的範圍內,所選擇的測驗內容應該能保證對不同的受測者次群體的分數的推論都具有同等的效度。測驗的審查過程應該包括實證數據資料分析。
在恰當的時候,還應該邀請專家來審查試題內容和作答方式。這些專家的資格、相關經歷以及人口統計學上的特徵,也須要以書面說明。
說明:專家可能做的工作可能包括確認對參加測驗的次群體受測者可能不合適、不清楚或具有冒犯性的材料。例如,可能會請專家們確認,在數學文字題裡缺少上下文對於有些學生來說是否會造成問題。各種受測者次群體可以按年齡、種族、文化、性別、殘障類型、或人口統計學方面的地區分佈來劃分。但這種證據也是有限的,專家的審查可能會使施測中的不公平現象緩解一些。
標準 3.22
測驗編製者應該提供清晰且詳細的評分規程(rubrics)以及(若適當時)評分規準(criteria),以儘可能提高評分的精確度。
評定量尺(rating scales)的使用方式,不論它是經由編碼(coding)、量尺化(scaling)或是對自由反應答案作分類(classifying free responses)所獲得的分數,以及其衍生分數,都應該清楚地加以說明。如果測驗是委託當地人員評閱的話,這一點特別重要。
標準 3.23
測驗編製者應該將對於評分人員的篩選、訓練、資格認證的過程作成書面說明。
訓練資料,比如評分規程,和代表分數量尺上每一點(級別)的受測者答案的樣本,以及訓練評分人員的程序,都應該幫助他們評分結果達到某一程度的一致性,以致於對測驗分數的解釋上能夠符合測驗編製者的期望。
主持評分訓練者對於評分者間信度,以及評分者的評分標準可能飄移的現象,要加以評鑑,並作成書面說明。
標準 3.24
當評分是由地方評量機構負責,並且需要用到評分人員的專業判斷時,測驗使用單位要為評分人員提供合適的研習和說明,並負責檢查評分人員評分結果的一致性和正確性。
測驗編製者應該以書面說明評分人員在評分上的一致性和正確性應該達到什麼水準。
說明:測驗編製者的一個普遍做法是,當測驗是交由地方機構閱卷時,應該提供對方舉辦評分研習會所需要的材料(比如,評分規程rubrics、代表每一分數級別的樣品samples)和評分步驟。
沒有留言:
張貼留言