2016年10月24日 星期一

計分方法:四、各種擴大試題區辨力的客觀計分方式

二元計分法是客觀計分法中使用最廣泛的。它只就學生的反應做全對或全錯的判斷,而不需要根據反應的完整程度或正確程度而給予部份的分數。傳統的是非題、選擇題、配合題、填充題都是採用這種計分法,它因為具有方法簡易、時間節省、及結果一致的特性,而廣被採用。
傳統的二元計分法雖然方便,但有時候為了讓測驗結果在有限的題目中產生更多的序階以提高區辨力,降低同分的人數,而不得不採取較複雜的計分方式,例如以下的幾種計分方式:

1. 容許表達方式差異的二元計分法

這種計分法通常用在填充題,它允許正確答案的同義詞、用英文或注音符號表示、答案的上位概念都算做正確答案。此法雖然仍是二元計分,但是卻能避免了因為語文表達能力的差異而影響分數,造成效度的降低。有些填充題要回答的是帶有單位的數值,這時若考生使用了與標準答案(例如15 kg)不同的單位來回答(例如33.07 lbs),若經過換算之後正確,亦可接受該答案。

2. 數值答案帶容許誤差的計分法

這種計分方法是用在答案為數值的填充題,或是計算題。例如,台灣本島的南北縱長為多少公里?若答案在394±10公里之間,可得100%的配分,答案在394±20公里之間,可得50%的配分,其餘答案為零分。

3. 依據刪除錯誤選項數的計分法

這種計分方式是要學生在作答時,不是選出正確答案,而改採刪除錯誤的誘答。學生能刪掉錯誤的選項愈多就愈能拿到高比例的配分。例如,在四選一的單選題,若能刪掉三個錯誤選項,可拿100%的配分;刪掉二個錯誤選項可拿50%的配分;只能刪掉一個錯誤選項就拿25%配分;沒有作答,或刪掉了正確的選項,就得到零分。這種計分法讓有部分知識的學生也能拿到部分的分數,而不是要硬猜一個正確的答案,而使得機遇因素影響分數。

4. 同題多次作答直到答對的計分法

當以電腦作答時,程式可以設計成允許多次嘗試做答,在四選一的單選題上,若在第一次就答對學生可以得配分的100%,若第二次才答對,則可得50%;若第三次才答對,則可得25%;若三次沒答對則該題就是零分。這種方式可讓有部分知識,可以刪掉某幾個選項的學生也能得到部分的分數,因而更精細地區分學生的能力。唯學生需要在電腦上受測,成本較高,且不利於有電腦焦慮症的學生。

5. 答案完全正確則進一步採計時加分法

個人的能力會反映在作答的速度與正確上,但傳統的團體紙筆測驗只能記錄答案是否正確,無法紀錄其反應時間。如果以個別測驗,或以電腦作答時,我們就能夠記錄呈現試題到學生完成作答所花費的時間,這時對於答對,而且反應時間比其他答對者還短者,給予計時加分,就可以增加試題的區辨力。例如,魏氏兒童智力量表(WISC)的「連環圖系測驗」、「圖形設計測驗」、「物形配置測驗」都是採用這種答對就計時加分的計分法。

6. 依選項合理程度給予部分配分的計分法

當選擇題的每一個選項都經過統計上的試題選項分析,以及認知結構上的分析,那麼不同的誘答就可以代表不同程度的部份知識。因此學生雖然沒有答對題目,我們仍然可以依據他選的是哪一個誘答,若仍算部分合理,也給予不同的部份分數(80%~20%)。這種計分法通常比二元計分法更能夠精細區分學生的能力。唯各個選項要事先做過深入的解題思考過程分析,才能決定各選項的加權量,除此之外,因為計分方法複雜,還要有電腦計分的配合,才可以避免人工計分的繁瑣與錯誤。

8. 依試題難易度加權的計分法

當施測紙筆測驗且以人工計分時,通常會採取對於相同題型的題目,不論其難易度,一律給予相同的配分。但是若題目是取自經過試題分析的題庫時,因為已有各個試題的難易度指數,我們就可以改採用較難的試題給予較高的配分,而較簡單的試題給予較低的配分。如此一來,兩個考生都答對30題,但他們的分數卻不相同,答對較多比較難的試題的考生分數會比較高。這種計分方法要有兩個先決條件,第一是試題要先經過試題分析,最好是以項目反應理論(Item Response Theory,IRT)分析過,才能取得比較穩定精確的試題難易度指數;第二是要以電腦計分,才不會因為太過繁雜而出差錯。
9. 依作答者信心加權的計分法
所謂信心加權計分(weighting by degree of confidence)是指學生除了寫出答案外,還要指出對自己的答案的信心有多高,計分時就按照其信心程度給予不同的加權,此種計分法可以降低猜答的影響,並擴大分數分配的全距,提高評量的信度。例如是非題可採用表5-7 做加權計分。

表 5-7  是非題的信心加權計分方法
  學生認為     標準答案為「是」    標準答案為「非」
該題敘述是:   應給分數           應給分數
絕對正確          +2                     -2
可能正確          +1                     +0
不確定              +0.5                  +0.5
可能錯誤          +0                     +1
絕對錯誤          -2                     +2
   
選擇題及填空題也可以採類似方法進行加權計分,但有些學者指出當題數超過20題以上時,學生分數的全距自然拉大;且題數越多,以信心加權方法產生的分數差距越顯的微不足道,反而增加計分上的工作量,所以實際上大多採用增加題數,而很少用信心加權法。

10. 重組題的計分

重組題的答案因為有許多種組合方式,而不同的組合也代表著不同的正確程度,所以用全對或全錯的二分法來計分對於那些非常接近正確答案的人是很不公平的。但是依照選項數目把它拆成幾題來分別計分也會產生問題,例如表 5-6 的學生甲在六題中沒有一題答案是完全吻合,所以應得零分,而學生乙恰好有兩題答案完全吻合,卻可得二分,但實際上學生乙的整個答案的排列比甲更離譜。
較理想的計分方法是採用「差異絕對值法」,此法是計算學生答案與標準答案之間差異的絕對值,並累加起來;絕對值越小表示越接近正確答案,應給較高的分數。此法的缺點是需要有電腦的配合,否則以人工計算實在太費時、費力。

表 5-8  重組題上兩位學生答案與標準答案之差異
(試題:請依據下列各縣的地理位置由北向南排列)
            標準   學生甲   差異      學生乙   差異
            答案   答案     絕對值    答案     絕對值
  雲林      4         3        1                2         2
  彰化      3         4        1                3         0
  苗栗      2         1       1                 4         2
  屏東      6         5       1                 6         0
  嘉義      5         6       1                 1         4
  桃園      1         2       1                 5         4
                         合計= 6                合計=12

11. 比例計分法

比例計分法是依據「要求完成的數量」與「實際完成的數量」之間的比例來計分。它特別適合用在語文科目的默寫、背誦、朗讀等評量方式。例如,要求默寫一篇300字的文章,在扣除錯別字及漏寫的部份後,實際只有240字,佔80%,若再乘以該題配分15分,則實得分數應為12分。
比例計分法只適用於有絕對對錯標準,並且只重視完成數量的評量方法上,而不適用於強調品質高低的評量方法。

12. 猜答現象與矯正方法

當測驗所用的題型為「是非題」或「選擇題」時,盲目猜答也有很高的猜對機率(但依選項數增加而降低),所以難以防止學生猜答;尤其當題數很多而作答時間不夠用時,猜答情形會更嚴重。猜答現象對高能力的學生影響不大,但會使低能力學生的分數更不穩定。
當猜答的題數越多,測驗分數中由隨機誤差所形成的部份就越大,評量結果就越不可靠,所以應該設法將猜答造成的誤差加以減少或均等化。減少猜答造成的誤差的方法是採用猜答矯正(correct for guessing)公式計分。至於要把猜答造成的誤差均等化的方法是在作答說明中「鼓勵所有的學生猜答」。
猜測矯正公式是假定學生答錯的題目都是因為不懂而盲目猜答所造成的。因此,在四個選項的選擇題中,若學生答錯了三題,即可推論他同時也盲目猜對了一題。所以真正答對題數應以下列公式估計:

真正答對題數估計值 =  答對題數 - (答錯題數 / N-1)
                                                                                                                                 
公式中N是選項的數目,在是非題中N=2,在選擇題中N通常是4或5。

使用猜測矯正公式因為有下列缺點,致使實際使用者並不多。
1. 即使已經在作答說明中提出警告,仍然有大膽的學生盲目猜答,而謹慎小心的學生即使有部份知識也不敢猜答,這將使得人格因素影響測驗分數。
2. 增加計分上的困難,除非採用機械計分加上電腦程式的配合,否則人力和時間都會大量增加,且容易出錯。
3. 低能力者可能因為倒扣而得到負的分數,這將難以向家長或行政人員解釋。
4. 學生猜答時並不完全是盲目猜答,學生常以部份的知識進行推理,猜測最可能的答案,這是一種解決問題能力的表現,是教師所應該鼓勵的,而不是要禁止的。
由於猜測矯正公式有上述缺點,再加上測驗專家已由實證研究中發現當鼓勵學生每一題都作答,且給予充裕的作答時間時,無論是否採用矯正公式,兩者的分數排列順序幾乎完全一樣,所以現在大部份的標準化測驗都已經不再使用矯正公式了。

不過在下列狀況還是可以考慮使用矯正公式:
1. 若試題選項數少,題數很多且都偏難時,使用矯正公式可以使低分組學生的分數較可靠。
2. 在選項數少而題數多的速度測驗上(如校對測驗),使用矯正公式可以產生阻嚇盲目猜答的效果。

除了使用猜測校正公式之外,另一種防止盲目猜答的方式是當作答時間短而試題題數過多,且試題已經經過試題分析並依難易度排列,則計分時可以檢查試卷,若在答案紙後半部發現有連續錯數題之後偶然出現一題對的,即可推斷那是在盲目猜答下猜對的,可以不予計分。

施測程序:四、測驗結束後

測驗結束後應該命令所有學生把筆放下,先收回答案紙,再收題本,依這順序可以避免學生乘機亂填未答完部份。當材料收完後主試者應該進行:
1. 整理。 整理是指把收回的題本及答案紙分開排放整齊,並依照編號排順序,其目的是要方便後續的清點及計分。
2. 清點。 實施標準化測驗及入學考試等都非常重視清點工作,因為標準化測驗題本需要重複使用,遺失將造成試題外洩的可能。而入學考試分數則事關重大,遺失試卷將造成極大風波。

評分

1. 檢查答案紙。 若採電腦計分,在將答案卡放入讀卡機或掃描器之前,先檢查畫答案的方式是否正確,是否畫得夠黑;更改的地方是否擦拭乾淨;所有答案紙堆疊時上下和正反面是否都一致;最後,計分鑰是否完整且正確。
2. 安排適當時間和程序。
3. 先試閱幾份測驗卷。 在主觀計分時,先掃閱一些試卷,找幾份表現比較好的試卷進行評閱,以確定給分的標準。若發現多數受測者對某一題目的題意有誤解或回答方向很分歧,就可以考慮直接剔除該題目,不予計分。

發還測驗卷

發還測驗卷只出現在教學評量的情境,特別是以改進學習成效的形成性評量中,然而在標準化測驗或是大規模考試中,受測者除了能得知自己的分數外,是不可能再次看到測驗卷的。
1. 儘早發還測驗卷。 教師若要讓學生的測驗經驗轉化成一正向的學習經驗,那愈快讓學生看到自己的作答結果就愈能夠產生立即回饋的學習效果。
2. 應尊重隱私權。 不要在發還測驗卷的過程中公開個人的分數,這不只會讓學生難堪,也是違反專業倫理的。但是公開表揚少數表現優秀的學生則是可以被接受的。雖然個人分數不應該公布,但是應該報告全班分數的平均數或中位數,以幫助於學生了解自己的表現水準。
3. 要說明計分方式及標準,並要求學生自己核對是否有計分上的錯誤。 通常學生都很在意自己的分數,即使教師未要求,學生自己也會檢查自己的分數,所以倒不如撥出一些時間要求每一個人都自我核對。在選擇反應的題型上,教師要公布標準答案,以及各種題型的配分。至於需要主觀計分的建構反應題型,則需要有更詳細的說明。
4. 找出答對率偏低的題目進行討論。 教師可以逐題唸出正確答案,並以要求答對的人舉手來估計該題的答對率,當某一試題答對率偏低時就應該立刻進行討論,找出學生共同的錯誤概念,進行再教學。
5. 變更計分標準時要全體適用。 除非能夠證明試題有重大瑕疵,否則不應該因為學生抗議而變更試題計分標準(如,變更正確答案、該題不計分等),但若決定要變更,則應該全體適用,而非只用於那些會抗議的學生。
6. 逐題記錄試題瑕疵。 教師應以開放的心胸聽取學生對試題的批評,記錄各試題引起爭論的原因及改進的意見,以便當做下次命題的參考。要記得學生批評的只是你的試題而非你個人,不要過度的自我防衛;而且學生不喜歡的題目也不一定就是不好的題目。

收尾

1. 收回所有材料。  即使是教師自編測驗,教師也應該回收測驗卷和相關材料,這不只是為了登錄分數,也可以避免題目或答案外流,影響日後重複使用這些試題的機會。
2. 登錄測驗分數。 教師通常需要將全班的分數登錄到他的成績簿上,

3. 記錄下所有需要改進之處。 趁著您的記憶還清楚,寫下此測驗在試題、計分方式和作答指導語需要改進的地方。若您做了正式的試題分析,記得要把獲得的各種統計量連同各試題記錄下來,以供日後選用題目的參考。

施測程序:三、管理施測環境

控制施測環境的目的不只是為了要防止學生作弊,還要防止一切無關因素對測驗分數的干擾(參見本章第二節);除此之外,更應該積極地提供舒適、安靜的環境,讓受測者充分發揮其實力。

1. 預防與處理意外干擾

施測情境中的意外干擾是指任何可能轉移學生注意力,而影響其成就表現的事件,例如:發現試題有錯誤,需要更正;學生發問;有訪客進入試場;廣播系統突然宣布事情;突然停電;發生地震等。這些干擾中有些是可以事先預防的,有些只能臨機應變把影響程度減到最小。
要預防測驗受干擾,需要有行政單位的配合,例如:關閉學校的廣播和上下課訊號系統,禁止其他學生在試場附近做活動,在試場附近及入口懸掛「測驗中,請勿干擾」的標示牌。此外,例如提醒學生在考試前上廁所,提醒學生要攜帶足夠且合乎規定的作答工具等,也都是必要的預防措施。
當意外干擾發生時,主試者的處理原則是要冷靜且迅速的處理,避免干擾的擴大,對於已經受干擾的學生要設法把他們的注意力迅速拉回到測驗上。主試者不應該因為有干擾而抱怨或教訓學生,使學生的作答情緒受到影響。

2. 回答學生的發問要考慮公平性

最常發生且難以事先控制的是學生的發問。如果學生問的是有關作答說明不清楚的部份,主試者要仔細回答;如果受試者是低年級或閱讀能力有困難的學生,或者該分測驗的題型對學生而言是比較新穎的,則更應該耐心地解釋作答方法。若非上述情形,而書面作答說明也清楚,則可要求受試者自己仔細再讀一次,以免耽誤時間。
有時學生會開開始作答之後,針對某一試題發問,這時主試者要做明智的判斷,如果問題來自題本印刷不清,主試者應該給予協助。若問題是來自於學生不懂試題內容,則給予協助將會造成不公平,此時只能鼓勵學生盡量嘗試去做,若不會作則跳過去做下一題。若問題是出自於學生對試題作了出人意外但仍屬合理的解釋,這時主試者應該在不提供作答線索的情況下澄清題意,而且要儘量不影響其他學生。

3. 更正試題上的錯誤

若在施測時才發現試題上有錯誤,常會造成困擾,但若在印刷之前做多次校讀通常可以減少這些麻煩。當主試者需要向學生宣告應該更正的試題內容時,應該先把錯誤的及更正後的內容都寫在黑板上,然後再向學生宣布。如果錯誤的部份並不影響學生的作答,就不要宣布它。

4. 認真監考防止作弊

有考試就有作弊,這好像天經地義的事,事實上只要測驗結果和個人的前途或利益有密切的關連,作弊就難以根除;利益越大,敢鋌而走險的人就越多。在防止作弊的努力上,測驗編製者可以設計出多種版本的題本(試題順序不同,或選項順序不同),不同格式的答案紙等。而監考者則可以採取特殊的座位安排、事前清楚告知考場規則、以及嚴密的監考來防止作弊。

5. 提醒學生剩餘時間

一般標準化測驗的分測驗的作答時間都不會超過20分鐘,試題數多,且都是由易而難依序排列,所以不必特別去提醒學生,提醒了反而讓學生焦慮而在最後一分鐘盲目猜答,反而讓機遇誤差擴大,而降低信度。但是有些升學考試或是甄選測驗,常常是連續90分鐘的作答時間,且題型常包含申論題,這時就需要在最後幾分鐘提醒學生作答時間還剩幾分鐘,以免少數學生因為太專心作答而忽略時間的控制,反而使分數偏低,無法反映其真正的能力。在學校的教學評量上,常使用較長時間的實作測驗,或是用整學期完成的專題作業,這時就需要在接近截止之前一再提醒,以免學生懈怠,而在截止前幾天草率完工,降低作業品質。


施測程序:二、測驗當天

1. 建立投契關係          

投契關係(rapport)是指雙方有一種和諧、互信的關係。主試者在進入試場後對於學生的和藹的態度、親切的招呼、及關心的提醒都有助於建立投契關係。
有了投契關係之後,學生的心理放鬆,測驗焦慮降低,遵循指示的意願升高,施測程序的進行將更加順利。

2. 遵循標準化施測程序

測驗指導手冊上都記載有施測順序、各分測驗作答時間限制、指導語、作答器材規定等等,主試者一定要嚴格遵守,否則測得分數無法對照常模,和他人做比較。
所謂標準化就是任何人的施測條件都與當初建立常模時的施測條件一模一樣,這樣這個人的分數才可以對照常模做解釋。而研究結果也發現,主試者在逐字唸測驗指導語(Verbatim directions)時,擅自增減內容會影響學生的表現。
但是若遇到特殊學生,需要調整施測程序以讓考生能顯現其真正能力時,就應該依據其特殊需要及行政規定進行施測材料或試題呈現方式及作答方式的調整。

3. 發收測驗材料

標準化測驗應該先發答案紙,待全部學生依指示填完姓名、年級等基本資料後,再發下題本,如此可避免學生不聽指令偷翻閱試題。測驗完後,應先收回答案紙,再收題本,如此可避免學生利用先收題本時亂填未答完的部份。在大規模的測驗中,為了統一作答起訖時間,會在測驗開始之前數分鐘,先要求考生離開考場,然後由監考人員將答案紙與題本一句編號放置在每一考生的座位上,等考試鐘聲一響,就讓考生就坐並立刻作答。
實施標準化能力測驗時不可能也不允許有提前交卷的情形,但在一般教師自編測驗的考試中,卻可能因為試題太簡單或學生放棄作答,而要求提前交卷,這時候監考者應該注意秩序的控制,提防在學生紛紛交卷之時,發生作弊或試卷遺失的情形。監考者也可以在宣讀測驗指導語之前,明確說明在作答時間內答完試卷要如何:(1)舉手示意,等候監考者收卷,或(2)將答案紙壓在題本下面,即可自由離去。

4. 宣讀測驗指導語

測驗指導語通常在測驗開始計時作答之前,由主試者唸給學生聽,或者直接印在測驗題目之前。若是成套的測驗,會有多個分測驗,那麼每一分測驗的指導語會印在每個分測驗的標題之下,而且以不同於試題的字型或字體大小來印刷。不管指導語試印刷的、朗讀的、或兩者兼有,其內容應該清楚告知測驗目的、作答方法、作答時間限制、答案如何計分、猜錯答案是否倒扣分數等。
當主試者口頭朗讀指導語時,應該速度慢、清晰、且逐字逐句的唸出來。朗讀完指導語之後,要允須學生發問,不管學生的問題看起來如何繁瑣,或沒有必要,主試者都要耐心、認真地回答。遇到對於學生而言比較陌生的題型,更應該詳細解說作答方式,並監督看他們做練習題,以確保每個學生都弄清楚了作答方式,才可正式開始作答。

5. 計時

在標準化的能力測驗中,絕大多數有作答時間限制,若未依照時間限制實施,測驗結果不是高估就是低估學生能力。當測驗性質越傾向於速度測驗,如性向測驗中的校對、圖形知覺、計算等,則作答時間的長短影響越大。
在進行作答時間限制很短的測驗時,最好使用賽跑計時用的碼錶,或以數字顯示的電子錶。若使用一般手錶時,一定要有秒針,並隨手在黑板上寫下開始時刻、作答時間、及應終止時刻,只依靠個人記憶力及心算常會出差錯。
當主試者唸完指導語後,應詢問學生有無問題,若無問題或回答完問題後,即可說:「時間限制X分鐘,翻頁!開始作答!」,並同時按下碼錶,主試者開始進行巡視,當時間限制到達時,應大聲喊:「停!把筆放下!」。在學生作答過程中,絕對不可以自作聰明宣布說:「還剩下X分鐘」,因為那不只是干擾作答,而且引發不必要的焦慮。
若是實施以長時間(50分鐘以上)作答的篩選性測驗,因為是屬於難度測驗,所以應該在時間快到時提醒學生說:「還有X分鐘」,以提醒學生有效地利用剩餘時間,但次數不要太多以免造成干擾。

6. 監考

監考(Proctoring)人員的職責不只是要消極地防止作弊,更要積極地排除各種干擾更鼓勵學生全力以赴,以協助每個學生都充分發揮其能力,除此之外,還要記錄試場特殊狀況,以便事後能夠更正確地解釋測驗結果。
在開始作答後,主試者應該在試場內巡迴觀察,一方面要注意每個學生是否依照指示作答,例如,題本是否都翻到指定的分測驗上,是否都在指定的位置上作答;另一方面則要防止學生抄襲他人答案或互通訊息。監考者若看見學生作答動機薄弱,應該加以鼓勵;看見學生受到外來干擾,應該協助排除;但大部分時間還是以只監看而不講話為原則。

7. 記錄特殊事件

答案紙的封袋上通常會有記錄欄,它不只是用以記錄缺席或遲到的學生,也應該記錄有哪些學生因為生理殘障因素(弱視、腦傷、斷臂等)而無法順利作答;或者有哪些學生在作答過程中因受到嚴重干擾,比如,桌椅故障、染重感冒、或腹瀉等,導致分數可能無法代表他真正的能力。

特殊事件的記錄在解釋測驗分數時很有參考價值,它可以幫助解釋者瞭解有哪些分數應該存疑,以及造成異常分數的原因。

施測程序: 一、測驗前的準備

1. 排定測驗時間和地點

測驗日期最好避免排在連續假日或學校大型活動的前後,因為假日或活動不只會影響學生的出席率,也影響其專心程度。此外,施測時間要避開午餐及放學時間或是體育課之後,因為在那些時段學生很難不受干擾。
測驗場所最好利用原來的班級教室,但若物理條件太差(太吵、太窄、易受干擾等),則應另行安排較妥當的地點。在大規模的考試中,各個試場的環境條件更要力求一致,以避免學生抗議。

2. 向學生宣布測驗消息

向學生宣布測驗消息是要讓學生在生理上、心理上、及學習上有所準備,以便在測驗時充分發揮潛力。宣布的內容不只是測驗的時間、地點,還包括測驗目的、性質、題目形式、作答方法、應攜帶作答工具等。一般大規模測驗(如:SAT、GRE、TOEFL)的實施,都設計有包含上述訊息的說明手冊,並且有模擬試題供學生事先練習。
學生的受測經驗和學得的應付考試的技巧都會影響到測驗分數,因此讓每個學生都有機會事先準備並熟悉測驗形式,將有助於平衡這些因素的差異。就這個觀點來看,任何臨時的、未事先宣告的測驗都是不恰當的,而且意外與未知這兩個因素常常引發學生的高度焦慮,影響其正常表現。

3. 教導學生一般應付考試的技巧

在測驗時,縱然學生願意全力以赴,但若缺乏應付考試的技巧,他們仍然無法充分發揮實力。應試技巧並不是很特別,也不是很難,大部分學生在多做過幾次測驗之後就可以領會了,但若事先有系統的教導和提醒,將可減少學生在這方面的差異,確保每個人的分數都能充分反映他的實力。
以下介紹的是比較常用的應試技巧:

@ 要仔細地讀或聽作答說明,並完全依照指示去做。
@ 要弄清楚不同試題的配分比重及計分的標準。
@ 無論是人工或機械計分,答案紙都要保持工整及乾淨。
@ 要保持最佳的身心狀態,不要臨時抱佛腳,或挑燈夜戰。
@ 要自己分配及控制作答時間,不要在某一試題上耽誤太久。
@ 除非特別註明,否則猜答通常不倒扣,應盡可能地去猜。
@ 答申論題時要事先在心裡面組織答案的要點,以免答題不著邊際或答非所問。
@ 使用分開的答案紙時,不要跳著作答,且要經常注意作答位置是否正確。
@ 如果有多餘時間,一定要檢查答案,或更正筆誤。

4. 監考者要熟習測驗材料及施測程序

標準化測驗的主試者要事先熟讀指導手冊,他不只要弄清楚所需的材料和實施程序,還要事先朗讀每個分測驗的指導語,以便熟悉它們的用詞用字。
若是聘請一般教師擔任標準化測驗的主試者,應該找專業人員來辦理講習,經由示範與演練來統一各主試者的施測程序。
主試者若有不合標準化程序的行為將會嚴重影響測驗結果,例如:材料發收錯誤、計時錯誤、回答錯誤等,都會造成無法挽救的結果,使測驗結果無從解釋。

5. 佈置及檢查測驗場地

一個良好的測驗場地應該具備下列五個條件:

@ 能讓學生在生理上舒適,心理上放鬆。
@ 能不受外來干擾與分心。
@ 便於操作測驗材料。
@ 有充分的間隔,能防止抄襲與作弊。
@ 對於特殊學生有適當的座位及設備上的安排。
對於中低年級學童而言,在自己熟悉的教室施測,比較容易控制秩序,且不會因為對陌生環境的好奇而分心。

6. 預防作弊及意外干擾

若能事先預防學生作弊及避免意外事件的干擾,可以確保測驗條件的一致性及結果的公平性,所以教師應把過去類似測驗的經驗納入考慮。至於控制測驗情境的方法在第二節中將有更詳細的說明。

7. 事先規定對違規及意外事件的處理方法

在大規模的測驗中,對於學生的缺席、違規或意外事件的處理應該有統一的規定,讓各個監考者能有所遵循;雖然意外事件不可能一一列舉,但也應該說明處理的原則,以減少它的負面影響。

8. 為特殊學生施測方式的調整作準備


若受測者有特殊學生,如殘障、非母語學生,可能需要調整施測方式,教師應該是先調查並了解這些特殊學生的需要,準備好他們所需要的輔助器材,或施測材料(大字題本、點字題本、錄音帶)。

2016年10月18日 星期二

影響分數的各種因素

一、主試者對分數的影響

雖然有些學者曾經研究過主試者的性別、種族、人格特質是否會對受試者的分數產生影響,但都發現那些都不是重要因素,真正重要的是主試者的測驗專業知能、表達能力及臨場經驗。
1. 測驗專業知能。 它包括對使用標準化施測程序的重要性的瞭解,對該測驗特有施測程序的熟悉,及對於因施測情境變化可能產生的影響的瞭解。缺乏測驗專業知能的主試者常會把標準化測驗當作教學上隨堂小考,因此在測驗時會給予學生額外的協助、指出學生錯誤答案、給予額外的作答時間等,而使得測驗失效。測驗界也依據測驗實施的複雜程度對主試者的資格作了如表11-1的限制。
表 11‑1 各種測驗類型及其施測者必備資格
測 驗 類 型
必 備 資 格
投射測驗
個別智力測驗
神經心理測驗
在瞭解其所依據的心理計量學理論之下修過針對該測驗的訓練課程並具備實習經驗
性向測驗
診斷測驗
人格測驗
修過教育與心理測驗課程,並熟悉標準化施測程序
標準化成就測驗
大規模甄選測驗
參加施測程序講習並熟悉測驗指導手冊內容

2. 表達能力。 它包括聲音是否清晰、洪亮,遣詞用字是否能配合受試者能力水準,這一點對於年幼或無法自行閱讀作答說明的受試者以及個別測驗的情境上特別重要。
3. 施測態度。 這是指主試者是以嚴格、憤怒或溫和、指導的語氣和表情來對待受試者。一般而言,年紀小的、缺少測驗經驗的、或人格上容易焦慮與害羞內向的人比較容易受主試者態度的影響,而造成分數的差異。
4. 臨場經驗。 這是指在執行測驗程序的效率或處理意外事件的方式是否恰當。臨場經驗豐富的主試者知道在施測之前要熟讀指導手冊,先熟悉施測程序及指導語,並檢查材料和儀器是否有缺失。臨場經驗不足的主試者在發收測驗材料時常手忙腳亂,處理突發事故時常會越處理越糟。許多研究指出個別實施的測驗(如魏氏智力測驗),主試者的臨場經驗對測驗分數的影響很大,換句話說,它才是造成測驗誤差的主要來源。

二、受試者對分數的影響

A. 身心條件方面

1. 遺傳的特質。 遺傳的特質包括認知上的一般能力(智力)及特殊能力(性向)還有人格方面的專注力、情緒穩定性、忍耐力等,這部份通常個別差異的主要來源,也是我們所要測量的。
2. 一般健康狀況及特殊殘障。 它是指個人的體力或生理健康程度、以及他是否有視聽覺殘障、腦傷等,若有學生此情形應該在考試方式或設備上加以調整,以符合公平原則。
3. 受測當時的身心狀態。 身心條件暫時性的波動,也會影響測驗分數,這部分包括:受測時學生是否過於疲倦,無法集中注意力;是否發生事故影響其情緒的穩定性;女生是否恰好遇到其生理週期等。

B. 經驗背景方面

1. 文化背景與非正式學習。 這部份包括:個人生活環境中文化刺激的多寡、試題內容取樣與文化背景經驗配合度造成的測驗偏袒等。
2. 正式學習與訓練。 這部份包括:教師的教學效能、學生課外練習機會的多寡、學生遵循指示的習慣與能力、平時有效的工作習慣等等,這部份對成就測驗分數的影響相當大。
3. 對類似測驗的經驗。 它包括學生是否已掌握「應試技巧」,如時間控制、猜答技巧、答題順序的安排等,應試技巧高超的學生能夠有效率地利用時間和注意力,取得較高的分數。學生對於類似的「考試經驗」經驗越多,就越有機會熟練應試技巧,而其測驗焦慮也會降低,進而提高測驗表現。
至於「補習與模擬測驗」是否比一般正常教學更能夠提高測驗分數,端看補習與模擬測驗的內容是否和正式測驗內容類似的程度,越是類似,則試題所測的認知層次會降為記憶的層次,題目會變得比較容易作答,且作答時間也縮短了。

C. 人格因素方面

1. 個人成就動機或抱負水準。 「成就動機」(或好勝心)是指個人想積極表現自己能力的欲望,而「抱負水準」則是自己對自己的未來成就所設定的標準。個人的抱負水準常常受成就動機、重要他人的期望及自我的成敗經驗所影響。
成就動機高能促使學生積極準備測驗,並積極作答;但當個人的抱負水準高而實際能力低時,他就會產生高度的考試焦慮。
2. 自我涉入程度與測驗焦慮。 「自我涉入程度」指受試者主觀的認定該測驗對於他的前途、利益、或自尊心的影響程度。個人的抱負水準及其對測驗重要性的知覺會影響其自我涉入程度。而自我涉入程度又與測驗焦慮息息相關,自我涉入越高的測驗(如大學聯考),其測驗焦慮越高。
測驗焦慮的外顯生理反應是緊張、肌肉僵硬、心跳加快,內在的認知反應則是過度擔心自己會失常,或很在意失敗的後果。以往的研究顯示適度的焦慮能提高測驗分數,但過度焦慮則明顯降低了分數。另外的研究顯示,焦慮有助於加快簡單、重複的反應(如賽跑、跳高等),但卻妨礙了需要不斷做選擇、判斷的反應(如下棋、數學等)。
其他的研究則顯示了受試者的能力越高,對自己越有信心時,則測驗焦慮越低。或者是受試者越常接受測驗,越熟習測驗格式和內容時,測驗焦慮就越低。
當自我涉入程度高,而個人榮譽感低,若加上監考者經驗不足,試場情境有利於作弊,受試者就容易鋌而走險,以作弊來贏取分數。
3. 個人對測驗內容及題型的興趣。 個人對於不同學科常因為先天的性向及後天的學習經驗而有不同程度的興趣,進而影響其作答意願。而語言表達能力也會影響學生對於題型的偏好,一般而言,語文表達能力高且字體工整者較樂於答申論題或問答題,且常能從中得到高分。
4. 作答反應心向。 作答時的反應心向(response sets),是指作答時的習慣性反應,它與所要評量的能力或心理特質無關,但卻會影響分數。它包括:
a. 投機。 「投機」心向與學者所鼓勵的「猜答」不同,猜答是作答者具有部分知識,知道有些選項是錯的,而在少數幾個仍不太確定的選項間做猜測;而投機心向則是在完全無知的狀況下盲目猜測。這種盲目猜測心向與試題題型的盲目猜中機率、受試者人格特質、及其過去猜答經驗有關。即使告知答錯要倒扣分數,有投機心向的人還是照猜不誤,而使其分數的隨機誤差加大。
b. 虛張聲勢。 在建構反應式的題型中,作答者即使不會答也會儘量扯一些能沾到邊的文字來矇騙過去。這種以多為佳的作答傾向,若遇上評分不認真看的評分者,即使文不對題也多少能騙到一些分數。
c. 中立。 在有三個層次或五個層次的態度量表上,作答者容易傾向選擇中間的答案。這種現象在作答者不太瞭解題意,或不願意介入爭論時出現頻率更高。
d. 作假。 在能力測驗以外的測驗中,若作答者能想像測驗結果的用途,他會依據其推測來選擇對自己最有利的反應,而隱藏了真實的自己。例如:應徵百貨公司售貨員的應徵者認為公司會錄取在人格特質上耐心、親和性較高的人,所以她就在人格測驗上有關耐心、親和性的題目上做不實的反應。

三、施測環境對分數的影響

一個良好的施測環境應該是安靜、光線好、空氣足、不容易受到干擾的場所。一般而言,幼童、情緒困擾者、有嚴重不安全感者,專注力不夠者等,比較容易受到施測環境的影響。
若是大規模的測驗,有多個試場同時進行同一種測驗,更應該使各個試場的物理環境條件保持一致。若是在不同時間、不同地點實施的標準化測驗,也應該使每次的施測條件調整到符合標準施測程序的要求。以下是應該考慮的條件:
1. 光線。 光線太強或太弱都會影響作答速度。而靠窗的座位,常因陽光照在部份試卷上造成亮度反差大,更會影響作答。
2. 溫度。 以攝氏26至21度最為適宜。過高則受試者容易流汗及煩躁,過低則消耗身體熱量且手指不靈活。
2. 通風。 以空氣流通、氧氣充足為宜。試場若設在高樓上要提防突然颳大風,把試卷吹落。若設在廚房或廁所旁邊,則要預防傳來的味道干擾到受試者。
3. 噪音。 出乎意料的聲音常會吸引學生的注意力,而不悅耳的持續聲音(馬達聲、汽車聲等)會使人煩躁,無法集中注意力;實證研究發現受試者年齡越小就越容易因噪音而分心。
4. 桌面。 桌面要平穩而且面積要大。靠臂式桌椅的桌面太小,不適於實施題本與答案紙分開的測驗;而凹凸不平或不穩固的桌面對於速度測驗的影響很大。
5. 意外干擾。 意外干擾可分成兩類,一類是包括對全體學生都有影響的,如地震、突來的噪音、外人闖入等,另一類是只對某個人有影響的,如腹瀉、鉛筆斷掉、桌椅故障等。這些干擾要儘量事先預防,但若發生了就要儘快妥善處理,使其影響變小。

四、測驗材料對分數的影響

1. 試題難易度。 試題的平均難易度最容易影響測驗分數;試題偏難,平均分數自然下降,反之,則自然上升。試題太簡單,對高能力學生會形成天花板效應,無法區辨他們的能力;試題太難,則能力低者會盲目猜答,其分數誤差會變大。
2. 題數與時間限制。 當測驗的題數多且作答時間長時,雖然測驗信度會提高,但專注力、耐力高的學生顯然會較佔優勢。若題數多而作答時間短,則學生盲目猜答的情形會增加,隨機誤差會變大。如何依據學生能力把題數及作答時間限制調得很適當,對測驗編製者是很大的挑戰。
3. 表面效度(face validity)。 是指受測者、測驗使用者及一般大眾對於一個測驗的整體印象。它是依據試題內容、排版印刷品質、編製者及出版機構的聲譽等所做的主觀判斷,判斷此一測驗是否能夠達成它所宣稱的目的。表面效度相當於一個產品的包裝,它雖然不是真正的效度,但卻會影響受試者的合作及作答意願的高低。
4. 試題取樣的公平性。 編製成就測驗要考慮試題內容取樣的代表性,以提高其內容效度,然而代表性並不等於公平性。試題取樣的公平性是指一個試題並不會因為受試者的性別、種族、社經背景等的不同而有不同的答對率。造成試題取樣不公平通常是因為解答該試題需要一些與所測能力無關的特殊知識或能力,例如:以棒球比賽情境來測量數學計算能力,而某些學生因為不知棒球比賽的規則與術語,而無法作答。
5. 文字可讀性。 文字的可讀性(text readability)包括「字彙的熟悉度」和「句子的複雜程度」。當文章中使用的是越熟悉的字彙及結構越簡單的句子時,文字可讀性就越高。擬題時除了語文科目外,應該儘量提高文字的可讀性,以免學生在作答之前還得猜測命題者的意思。文字可讀性不高的試題通常也把學生的閱讀理解能力也一起測進去了,所以效度不會很高。
6. 試題造成的誤導。 試題本身語意含糊,可做不同的解釋;或有排版印刷上的瑕疵,造成學生困惑;像這類並非因為學生能力不夠而造成的錯誤,都會降低測驗的信度和效度。

五、計分程序對分數的影響

計分程序分成客觀計分及主觀計分,一般而言,主觀計分程序對分數的影響較大,常造成較大的誤差。下列列舉的四個因素中,除了機械性能外,全是屬於主觀計分時的因素。
1. 機械性能的限制。 機械計分通常是非常客觀的,但有時候會因為過於相信機械,反而忽略了要測試機械的性能及其穩定性。例如,忘了檢驗光學掃描器的敏感度,將會使塗得較淡的作答記號被判定為未做答,但是同一答案紙在人工複查時又被認定為有答案。
2. 評分者的身心狀況。 當以人工計分時,即使是是非、選擇等客觀計分的題型,也會因為評分者的身心狀況而有不同的錯誤率,這些錯誤會出現在核對答案、加總分、及抄錄分數的過程中。通常疲倦、厭煩時計分的錯誤率都會提高。
當試題是採主觀計分的題型時,評分者的身心狀況對分數的影響更大。越是疲倦、厭煩、無法專心的評分者,他實際花在每份試卷上的時間就越短,所評分數的差異也就越小,這一種趨向中間的分數分配是沒有鑑別力的。
3. 月暈效應。 月暈效應是指當評分者在判斷學生的某種特質時,會受到該學生的其他較突出的特質的影響,例如,若一個學生的學業成績很高,在評其操行成績時也會受影響而偏高。在閱卷時,若前面題目答的很完美,後面題目的分數也會跟著水漲船高。
4. 字體美觀與價值觀。 在申論題的評分上,若回答的內容相同,但字體工整程度不同,是否會影響到得分?在這方面的研究指出評分者對字體美觀的價值觀才是關鍵所在。若評分者重視字體的美觀,則他自己不但有一手好書法,而且在評分時對於書法美觀的試卷也會給予較高的分數;至於那些本身的書法就很潦草的評分者,試卷上的書法美觀與否並不影響他的給分。