2012年4月4日 星期三

試題分析之後篩選試題的規準

測驗編製時,要經過抽樣預試,將原始答案建檔,以計算機計算難易度、鑑別度、及選項分析。
在算出這些實證數據資料之後,即要進行比較、篩選試題。以下四個規準是需要考慮的:

  1. 測驗總題數:試題題數決定於所希望的測驗信度以及可用的作答時間。用於做個人決策的測驗或高注碼測驗,需要較高的信度,題數就要較多,但通常不得少於20題(成套測驗的分測驗) 或30題(單一測驗)。
    可用的作答時間與試題題型也是影響題數的重要因素,所以在預試時,測驗編製者要到現場觀察,並記錄不同能力者的平均作答時間,以便使題數和作答時間限制能達到最佳的配合。
  2. 測驗內容與規格明細表的一致性:
    若所測驗的範疇有經過詳盡的分析,並做成規格明細表,就要按照規格明細表選擇題目,在符合規格明細表的配置之下,再進一步考慮鑑別度和難易度,這樣才能維持試題取樣的代表性,以確保測驗的內容效度,這點在成就測驗上特別重要。
    除了不遺漏重要概念,以維持試題取樣代表性之外,還要考慮內容的豐富性,也就是各試題之間內容不重複或者相關不要太高。
  3. 鑑別度(試題與總分的相關):這是挑選試題最重要的規準。試題與測驗總分的相關係數要愈高愈好,但為了顧及試題抽樣代表性,需要使整個測驗內容符合測驗規格明細表,所以較低的相關係數有時也得接受,但是不能有接近0.00的題目。
    若試題與總分的相關是負相關,應該立刻回頭檢查是否把正確答案弄錯了(通常是在將原始答案轉換成1與0時,輸入錯誤的答案)。但偶爾有可能是當初命題者就提供了錯誤的標準答案,或者是該題目的內容本來就有爭議。
  4. 難易度(試題答對比率,p值):一般而言,p值在 .80 到 .20 之間都可接受,但是以 .50 上下的試題愈多愈好,因為這樣才能在團體施測時,使測驗分數的分布變異最大。
    另一方面, 若測驗編製者事前知道該測驗將會做為錄取比率很低的甄選測驗時,就要多選一些答對率比較低(較難答對)的題目,使該測驗對於高能力者有較大的鑑別力。反之若測驗是要用來篩選出低成就的學生,或者率取比率會很高時,則可以多選一些答對率比較高(比較容易)的題目。