2016年11月1日 星期二

各種擴大試題區辨力的客觀計分方式

二元計分法是客觀計分法中使用最廣泛的。它只就學生的反應做全對或全錯的判斷,而不需要根據反應的完整程度或正確程度而給予部份的分數。傳統的是非題、選擇題、配合題、填充題都是採用這種計分法,它因為具有方法簡易、時間節省、及結果一致的特性,而廣被採用。
傳統的二元計分法雖然方便,但有時候為了讓測驗結果在有限的題目中產生更多的序階以提高區辨力,降低同分的人數,而不得不採取較複雜的計分方式,例如以下的幾種計分方式:

1. 容許表達方式差異的二元計分法

這種計分法通常用在填充題,它允許正確答案的同義詞、用英文或注音符號表示、答案的上位概念都算做正確答案。此法雖然仍是二元計分,但是卻能避免了因為語文表達方式的不同而影響分數,造成效度的降低。有些填充題要回答的是帶有單位的數值,這時若考生使用了與標準答案(例如15 kg)不同的單位來回答(例如33.07 lbs),若經過換算之後數值正確,亦可接受該答案。

2. 數值答案帶容許誤差的計分法

這種計分方法是用在答案為數值的填充題,或是計算題。例如,台灣本島的南北縱長為多少公里?若答案在394±10公里之間,可得100%的配分,答案在394±20公里之間,可得50%的配分,其餘答案為零分。

3. 依據刪除錯誤選項數的計分法

這種計分方式是要學生在作答時,不是選出正確答案,而改採刪除錯誤的誘答。學生能刪掉錯誤的選項愈多就愈能拿到高比例的配分。例如,在四選一的單選題,若能刪掉三個錯誤選項,可拿100%的配分;刪掉二個錯誤選項可拿50%的配分;只能刪掉一個錯誤選項就拿25%配分;沒有作答,或刪掉了正確的選項,就得到零分。這種計分法讓有部分知識的學生也能拿到部分的分數,而不是要硬猜一個正確的答案,而使得機遇因素影響分數。

4. 同題多次作答直到答對的計分法

當以電腦作答時,程式可以設計成允許多次嘗試做答,在四選一的單選題上,若在第一次就答對學生可以得配分的100%,若第二次才答對,則可得50%;若第三次才答對,則可得25%;若三次沒答對則該題就是零分。這種方式可讓有部分知識,可以刪掉某幾個選項的學生也能得到部分的分數,因而更精細地區分學生的能力。唯學生需要在電腦上受測,成本較高,且不利於有電腦焦慮症的學生。

5. 答案完全正確則進一步採計時加分法

個人的能力會反映在作答的速度與正確上,但傳統的團體紙筆測驗只能記錄答案是否正確,無法紀錄其反應時間。如果以個別測驗,或以電腦作答時,我們就能夠記錄呈現試題到學生完成作答所花費的時間,這時對於答對,而且反應時間比其他答對者還短者,給予計時加分,就可以增加試題的區辨力。例如,魏氏兒童智力量表(WISC)的「連環圖系測驗」、「圖形設計測驗」、「物形配置測驗」都是採用這種答對就計時加分的計分法。

6. 依選項合理程度給予部分配分的計分法

當選擇題的每一個選項都經過統計上的試題選項分析,以及認知結構上的分析,那麼不同的誘答就可以代表不同程度的部份知識。因此學生雖然沒有答對題目,我們仍然可以依據他選的是哪一個誘答,若仍算部分合理,也給予不同的部份分數(80%~20%)。這種計分法通常比二元計分法更能夠精細區分學生的能力。唯各個選項要事先做過深入的解題思考過程分析,才能決定各選項的加權量,除此之外,因為計分方法複雜,還要有電腦計分的配合,才可以避免人工計分的繁瑣與錯誤。

7. 依試題難易度加權的計分法

當施測紙筆測驗且以人工計分時,通常會採取對於相同題型的題目,不論其難易度,一律給予相同的配分。但是若題目是取自經過試題分析的題庫時,因為已有各個試題的難易度指數,我們就可以改採用較難的試題給予較高的配分,而較簡單的試題給予較低的配分。如此一來,兩個考生都答對30題,但他們的分數卻不相同,答對較多比較難的試題的考生分數會比較高。這種計分方法要有兩個先決條件,第一是試題要先經過試題分析,最好是以項目反應理論(Item Response TheoryIRT)分析過,才能取得比較穩定精確的試題難易度指數;第二是要以電腦計分,才不會因為太過繁雜而出差錯。

8. 依作答者信心加權的計分法

所謂信心加權計分(weighting by degree of confidence是指學生除了寫出答案外,還要指出對自己的答案的信心有多高,計分時就按照其信心程度給予不同的加權,此種計分法可以降低猜答的影響,並擴大分數分配的全距,提高評量的信度。例如是非題可採用表5-7 做加權計分。

 1  是非題的信心加權計分方法
  學生認為     標準答案為「是」    標準答案為「非」
該題敘述是:   應給分數               應給分數
絕對正確            2                         2
可能正確            1                         0
不確定               0.5                       0.5
可能錯誤           0                          1
絕對錯誤           2                          2
   
選擇題及填空題也可以採類似方法進行加權計分,但有些學者指出當題數超過20題以上時,學生分數的全距自然拉大;且題數越多,以信心加權方法產生的分數差距越顯的微不足道,反而增加計分上的工作量,所以實際上大多採用增加題數,而很少用信心加權法。

9. 重組題的計分

重組題的答案因為有許多種組合方式,而不同的組合也代表著不同的正確程度,所以用全對或全錯的二分法來計分對於那些非常接近正確答案的人是很不公平的。但是依照選項數目把它拆成幾題來分別計分也會產生問題,例如表 5-6 的學生甲在六題中沒有一題答案是完全吻合,所以應得零分,而學生乙恰好有兩題答案完全吻合,卻可得二分,但實際上學生乙的整個答案的排列比甲更離譜。
較理想的計分方法是採用「差異絕對值法」,此法是計算學生答案與標準答案之間差異的絕對值,並累加起來;絕對值越小表示越接近正確答案,應給較高的分數。此法的缺點是需要有電腦的配合,否則以人工計算實在太費時、費力。

 2  重組題上兩位學生答案與標準答案之差異
(試題:請依據下列各縣的地理位置由北向南排列)
            標準   學生甲   差異      學生乙   差異
            答案   答案     絕對值    答案     絕對值
  雲林      4         3          1                 2        2
  彰化      3         4          1                 3        0
  苗栗      2         1          1                 4        2
  屏東      6         5          1                 6        0
  嘉義      5         6          1                 1        4
  桃園      1         2          1                 5        4
                            合計= 6              合計 = 12

10. 比例計分法

比例計分法是依據「要求完成的數量」與「實際完成的數量」之間的比例來計分。它特別適合用在語文科目的默寫、背誦、朗讀等評量方式。例如,要求默寫一篇300字的文章,在扣除錯別字及漏寫的部份後,實際只有240字,佔80%,若再乘以該題配分15分,則實得分數應為12分。
比例計分法只適用於有絕對對錯標準,並且只重視完成數量的評量方法上,而不適用於強調品質高低的評量方法。

12. 猜答現象與矯正方法

當測驗所用的題型為「是非題」或「選擇題」時,盲目猜答也有很高的猜對機率(但依選項數增加而降低),所以難以防止學生猜答;尤其當題數很多而作答時間不夠用時,猜答情形會更嚴重。猜答現象對高能力的學生影響不大,但會使低能力學生的分數更不穩定。
當猜答的題數越多,測驗分數中由隨機誤差所形成的部份就越大,評量結果就越不可靠,所以應該設法將猜答造成的誤差加以減少或均等化。減少猜答造成的誤差的方法是採用猜答矯正(correct for guessing)公式計分。至於要把猜答造成的誤差均等化的方法是在作答說明中「鼓勵所有的學生猜答」。
猜測矯正公式是假定學生答錯的題目都是因為不懂而盲目猜答所造成的。因此,在四個選項的選擇題中,若學生答錯了三題,即可推論他同時也盲目猜對了一題。所以真正答對題數應以下列公式估計:


真正答對題目估計值 = 答對題目 - (答錯題數 / N-1)                                                                                                             
                                                                                                       
公式中N是選項的數目,在是非題中N=2,在選擇題中N通常是45

使用猜測矯正公式因為有下列缺點,致使實際使用者並不多。
1. 即使已經在作答說明中提出警告,仍然有大膽的學生盲目猜答,而謹慎小心的學生即使有部份知識也不敢猜答,這將使得人格因素影響測驗分數。
2. 增加計分上的困難,除非採用機械計分加上電腦程式的配合,否則人力和時間都會大量增加,且容易出錯。
3. 低能力者可能因為倒扣而得到負的分數,這將難以向家長或行政人員解釋。
4. 學生猜答時並不完全是盲目猜答,學生常以部份的知識進行推理,猜測最可能的答案,這是一種解決問題能力的表現,是教師所應該鼓勵的,而不是要禁止的。
由於猜測矯正公式有上述缺點,再加上測驗專家已由實證研究中發現當鼓勵學生每一題都作答,且給予充裕的作答時間時,無論是否採用矯正公式,兩者的分數排列順序幾乎完全一樣,所以現在大部份的標準化測驗都已經不再使用矯正公式了。
不過在下列狀況還是可以考慮使用矯正公式:

1. 若試題選項數少,題數很多且都偏難時,使用矯正公式可以使低分組學生的分數較可靠。
2. 在選項數少而題數多的速度測驗上(如校對測驗),使用矯正公式可以產生阻嚇盲目猜答的效果。


除了使用猜測校正公式之外,另一種防止盲目猜答的方式是當作答時間短而試題題數過多,且試題已經經過試題分析並依難易度排列,則計分時可以檢查試卷,若在答案紙後半部發現有連續錯數題之後偶然出現一題對的,即可推斷那是在盲目猜答下猜對的,可以不予計分。

沒有留言: