2016年10月11日 星期二

常模的種類

常模(Norms)是一個樣本團體在某一個測驗上的平均表現,它也是解釋個人分數在團體表現中相對地位的依據。它的製作是以一個測驗對一個具有代表性的樣本團體進行施測,並將所得的原始分數作統計整理,然後就每一原始分數算出其對應的轉換後分數(如百分等級、標準化分數等),最後以分數換算表(常模表)的形式呈現在測驗指導手冊中。

A. 以做比較的對象來分

1. 發展常模

發展常模(Development norms) 是指將個人測驗分數和各種不同年級或年齡發展階段團體的平均表現相比較,以便知道此人的表現相當於在哪一發展階段,它是屬於垂直式的比較。
發展常模有適於嬰幼兒的順序量表、適於學齡兒童的年齡當量、年級當量等。

2. 組內常模

組內常模(Within-group norms) 是指將個人的測驗分數與其性質最接近(同年級或同性別)分組團體的表現相比較,以便知道此人在該團體中的相對位置,它是屬於水平式的比較。
組內常模又可分成兩類,一類是以團體測驗分數的平均數、標準差為計算基礎的標準分數系統,如:z分數、T分數、AGCT分數、CEEB分數;另一類是以個人在該團體中的排列等級為基礎的,如:百分等級、十分等級、標準九。

B. 以取樣範圍大小來分

如果以建立常模的樣本人數及代表性來分,可分為全國性常模、地區性常模、及特殊團體常模三個層次。

1. 全國性常模

全國性常模(National norms)是標準化測驗必備的常模。它是以該測驗在全國的適用對象為取樣範圍,重視常模樣本在區域、性別、種族等方面的代表性。測驗指導手冊上的常模幾乎都是全國性常模。

2. 分組常模

分組常模(Subgroup norms))的樣本是取自整體常模,比如,以性別、年齡、學校年級、種族、社經地位、職業、或居住地區等變項進行分組。
只有在上述變項上,不同群體的測驗平均分數有顯著差異時,才提供分組常模,否則就直接使用整體常模即可。
只用整體常模或只用分組常模進行解釋 ,端看施測目的而定。在很多情況下,整體常模和分組常模同時使用,更能夠增進測驗的解釋力。例如,在美術性向測驗上,告知學生他在全國常模上百分等級是70,但在美術班上的百分等級是30。

3. 使用者常模

使用者常模(User norms)是以在某一特定時間實際接受這一測驗的人為樣本所建立的常模。例如,台灣的國民中學學生基本學力測驗每一年所用的百分等級常模就是使用者常模。
使用者常模是一種便利取樣的常模,它並不事先計畫要代表某個界定好的母群體,所以使用時要伴隨著對於樣本的詳細描述。

4. 地區性常模

地區性常模(Local norms)是指測驗使用者為了更具體、更詳細的解釋測驗結果,而自己利用現有樣本所建立的常模。這些現成樣本可能是同一學校(區)的同年級學生、同一企業中同一職種的員工、同一職位上所有的應徵者。這些樣本雖然在人數及代表性上都不如全國性常模,但因為與受測者關係較密切,更能配合實際需要,提供有用的訊息。
地區性常模較適合使用在下列幾種情況:一、大量使用的團體測驗。若該測驗只是偶爾使用在少數人身上(如診斷測驗、個別智力測驗),我們便無機會蒐集到足夠的樣本來建立常模,我們別無選擇只能用全國性常模。二、受測者的身分特殊。若大部分受測者的身分明顯不同於全國性常模的樣本(如僑生、原住民學生),可能使用地區性常模較為適當。三、進入其他團體時。雖然有時全國性常模也很適當,但我們可能更想知道受測者在新團體中的相對地位,以便預測他的適應情形。

5. 特殊團體常模

特殊團體常模(Special group norms)可以分成兩類,一類是特殊教育中所需要的「特殊學生常模」,這類學生常因為生理上的障礙﹝如;視障聽障﹞而修改了標準化施測程序,自然不宜與正常學生相互比較,因此有必要為相同條件的學生另建常模。
另一類則是指進行職業輔導時所用的「特定職業常模」。測驗編製者為了要讓輔導人員能夠明確說明某人的測驗結果最適於從事某一種職業,他必須找一群某一特定職業的資深從業人員進行人格、興趣和性向測驗,並找出最適於該職業的人格特質或興趣、性向組型;解釋時輔導人員將學生的各種測驗結果和特定職業常模相比對看他較適合從事哪一種職業。

C.以比較的單位來分

1. 國際性常模

近十年來,對於學校學習成就的國際性比較非常盛行。比如像TIMSS(Trends in International Mathematics and Science Study)和PISA (the Programme for International Student Assessment),參與的國家都是經濟上先進的國家,他們提供該國家學童的代表性樣本參與研究,但在比較與解釋時是以國家為單位。
國際性常模(international norms)由於參與的國家數不多,因此這些國際評量方案通常是以各國的總平均分數,或是對於個別題目的答對百分比來進行解釋,在此情況下,百分等級和標準分數常模是沒有多大用處的。

2. 機構常模

有時候,教師或行政人員想要知道自己的學校在所有學校中所佔的位置時,就需要以學校的平均數為單位來建立常模,此種機構常模(Institutional norms) 又稱學校平均數常模 (School-mean norms)。
由於以團體平均數建立的常模的變異數比較小,一個人若無法仔細區分「以個人分數建立的常模」和「以團體平均數建立的常模」,就會造成很大的混淆。舉例來說「忠孝國中的平均分數在國家常模中的百分等級是90」,很多人就會解釋為「在忠孝國中的一位中等的學生,其能力贏過這國家90%的同年齡學生」;但實際上,這位得分等於該校平均數的學生,其分數在「以個人分數建立的全國常模」中,百分等級可能只有60。

D.以常模表的排列格式來分

常模表(Norms tables)常附於測驗指導手冊之後,以供測驗使用者將原始分數換算成標準化分數或百分等級,常模表依據資料的排列方式可分成下列數種:

1. 簡單常模表

簡單常模表(Simple norms tables) 只有一欄原始分數和一欄衍生分數的常模表。它在形式上是最簡單,但在印刷上及查表時間上卻最不經濟。

2. 多組別共用的常模表

若是將依據不同組別(年級、性別)建立的常模合併在一個表上來使用,將會呈現有一欄原始分數,而有多欄不同組別的衍生分數。這種多組別共用的常模表(Multiple-group norms tables),可以使一種衍生分數只需要一張表,不但減少印刷成本,也比較容易看出同一個原始分數在不同組別中的相對地位。

3. 多種分測驗共用的常模表

若是一套測驗中含有多個分測驗(如綜合性向、綜合成就測驗),或是能算出多種分數(如診斷測驗、多因素人格測驗)時,則可以把同年齡組同一衍生分數的不同分測驗的常模表合併在一起,稱之為多種分測驗共用的常模表(Multiple-subtests norms tables) ,這樣使用者可以使用一張表就查出受測者在不同分測驗上的同一種衍生分數。
這種常模表不只是節省印刷成本,而且查表時不必常翻頁,效率較高,非常適合用在綜合性向測驗上。但如果分測驗之間,題數差距很大就不適合併在一起呈現出來。

4. 多種衍生分數共用常模表

若是一套測驗中能算出多種衍生分數(如百分等級、標準九)時,則可以把同年齡組的不同衍生分數的常模表合併在一起,稱為多種衍生分數共用常模表(Multiple-score norms tables),這樣使用者可用一張表就查出受測者的同一分測驗的所有衍生分數。這種常模表不只是節省印刷成本,而且查表時不必常翻頁,效率較高(其形式類似附錄一的對照表)。

5. 簡略式常模表

當原始分數全距太大時,而且不同的鄰近分數常換算出相同的衍生分數時(如速度測驗),有些編製者會以等間隔的方式,只取部份原始分數(如,0, 5, 10, 15, 20,...)來建立簡略式常模表(Abbreviated norms tables) 。使用者若遇到未呈現出來的原始分數分數,就得自己用內插法求出衍生分數。這種常模表雖然省了印刷成本,但增加使用者的查表時間和計算工作,且容易造成錯誤,不值得鼓勵。

6. 濃縮式常模表


濃縮式常模表(Condensed norms tables)和上述簡略式常模表很像,只不過是它將衍生分數做等間隔的部份呈現(通常是百分等級,如,1, 3, 5, 10, 15,...)。在該測驗並不需要做精細比較時,使用這種常模表即可。

如何增進評量結果的信度

1. 增加評量程序的長度。

在實務上可行的範圍之內,增加作答時間、增加試題數、增加觀察次數等等。

2. 擴大評量程序的取樣範圍。

評量程序要涵蓋最大學習表現所有基本、重要的刻面,設計出周延、詳細的內容取樣明細表,以免評量結果以偏概全,造成下次再評量時產生極大的差異。

3. 選擇比較能區辨學生能力的評量任務。

要選擇鑑別力高的客觀計分試題,或學生得分變異大的主觀計分試題,而剔除對學生而言太簡單或太難的,就可使學生之間分數的變異達到最大。

4. 減少猜測因素的干擾。

試題的題意要清晰,不能做第二種解釋;給予作答時間要足夠,以免到最後有太多的盲目猜答情形;實作任務的說明要詳細,以免學生各自解讀,而最後作品難以比較。

5. 增進評量程序的公平性。

要防止外來干擾因素,例如,考場有噪音或外人闖入、學生考試時作弊,或在作業上抄襲他人等;對於特殊學生,如殘障或非母語的學生要有特殊的安排,以免其生理障礙或語言的精熟度影響其評量。

6. 增進評分的客觀性。

使用系統的、更正式的方式來進行對學習表現的評分,例如,評分人員要事先訓練、使用參考答案或評分規程。

7. 合併多個評量結果。

當評量用於重要教育決策時,最好使用多位獨立的評分人員,或是合併多個使用不同評量方法的結果。

2016年10月4日 星期二

測驗的版面設計與印製

A. 試卷版面設計應注意事項

完整的試卷應該包含三大部份:封面或卷頭、題型與作答說明、和試題內容。進行版面設計的目的在於使試卷更美觀、更容易閱讀與作答,及更方便計分。

1. 封面或卷頭部份

標準化測驗題本的封面上通常包含有測驗名稱、編製者、出版單位及出版日期等內容,左上角常留有編號的位置,以便於題本編號後好清點保管;右上角常印有「限閱」兩字,以提醒相關人員測驗的內容需要保密。
至於學校考試卷的卷頭要包含有學校全銜、學年度、年級、學期、學科名稱、評量性質、以及學生填寫班級、座號、姓名的位置。試卷橫寫時,卷頭放在最上面;直寫時放在最右邊。
卷頭的字型最好與試題有所不同,且其字體大小要明顯大於試題內容。卷頭部份若若有足夠空間,應該在學生姓名附近留出空位供教師填寫總分之用,如此登記分數時較為方便。

2. 題型與作答說明部份

標準化測驗通常只用一種題型--「選擇題」,即使有不同題型也都以分測驗的形式加以區隔開來,因此其作答說明就是各分測驗的「指導語」,它通常單獨佔一頁,而且是印在單數頁(右頁),正式題目則印在指導語的背面,如此可防止學生趁著主試者在唸指導語時看到正式題目。
編寫學校試卷時,各種題型的作答說明要放在該題型的前面,並且採用不同字型以示區別。若是學生已經很熟悉的題型可以只寫出題型名稱,省略掉答說明部份。作答說明之後通常會註明該題型的配分比例。

3. 試題內容部份

至於試題內容部份的版面設計則應該注意下面幾點:

1. 字型、字體大小的選擇

字型、字體的大小和字距、行距都要配合學生年齡以便於閱讀。字型(typeface)的選擇應配合學生現在用的教科書,以比較常見的明體、宋體、仿宋體為主,隨意使用較少見的字型(如隸書、行書),可能降低學生的閱讀速度,甚至使國小學生無法辨認。英文字字型則最好選用Helvetical, Palatino,或 Times Roman 中的一種。
大部份文書處理程式還可以進一步把原來的正體(normal)字型變化出不同風格(style),例如:斜體(Italics)、粗體(bold)及加底線(underline) 。「正體」適用於一般文字敘述上,使用機會最多;「斜體字」常用於特殊名詞,如:書籍、期刊、樂曲、影劇、詩詞等的名稱上;「粗體字」可以用來區別作答說明和試題;至於「加底線」可以用來強調題幹中所要強調的字眼,例如:不是、不應該、最沒有效等等否定性的字眼。若有必要還可以把後三種加以組合,例如:斜粗體、斜體加底線、粗體加底線、斜粗體加底線。
當文書處理程式是以點數(points)表示字體大小時,一英吋有72點,且允許你以一點一點的調整字體大小。一般常用的是12點,但若是大學生或成人,10點也可以,至於國小低年級則最好用14點。

2. 字距、行距與段距的選擇

字距(兩個字之間的距離)縮小時,每一行就可以排入更多的字,但字距太小時,版面會較「暗」,且不容易閱讀。
行距(一行行之間的距離)的調整應該是使行距大於字距,這樣才能引導眼睛的移動方向,閱讀才能順暢,文書系統預設的行距大多是依據字體大小再加上字體大小的20%左右。
段距(各個段落之間的距離)要比行距還大才可以使試題與試題之間有適當的間格,使每一題自成一個單位,讓讀者一目了然。

3. 試卷上下左右邊緣應保留2至4公分的空白

試卷版面上下應該留有空白,俗稱「天地」,習慣上留邊時是天多地少,這樣可以讓教師在上方登記分數或書寫評語。上下左右留邊除了可以增加美觀外,並可以避免在印刷時把文字內容印到紙張之外,此外,也比較便於裝訂和保存。

4. 有時候版面可以分成兩欄以節省空間並便於閱讀

試卷若像報紙、雜誌一樣採取多欄式的版面設計,可以減少眼睛移動距離,加快閱讀速度。當選擇題的選項都很短時,排成兩欄可以節省空間,容納較多的題目。多欄式的排版需要用到具有排版功能的電腦文書處理軟體,若用一般的打字機處理常事倍功半;關於微電腦在測驗編製上的應用,在第十五章會有更詳細的介紹。至於分成幾欄,則因紙張大小的限制,以兩欄較為恰當,兩欄以上並不實際。

5. 選擇題的各個選項要有適當間格並做規則性排列

選擇題的選項的排列原則包括:不把單一選項拆成兩行、選項的標號要上下對齊、不同試題之間選項排列的格式要力求一致(請比較例題1的各種排列方式)。選項若是數字,應該把個位數及小數點上下對齊(例題2)
例題1
(  )1. Mind you own business.
這句話的最佳翻譯是:(不規則排列)
       A.
要多照顧自己     B.少管閒事     C.小心照顧你的
       
事業    D.要記住你自己的事業
(  )2. Mind you own business.這句話的最佳翻譯是:(缺少間格)
     A.
要多照顧自己B.少管閒事C.小心照顧你的事業D.要記住你自己的事業。
(  )3. Mind you own business.這句話的最佳翻譯是:(佳)
         A.
要多照顧自己    B.小心照顧你的事業
         C.
少管閒事            D.要記住你自己的事業

例題2 (小數點應上下對齊)
(   )1.  6.081
×10 = ?
          A.         .006081
          B.         .06081
          C.     60.81
          D. 6081

6. 題號要採用凸排,並和試題內容相隔開

在段落格式上要使每一試題的第一行凸排,讓作答位置與題號都突出於題幹與選項之外(如例題136),如此可以方便學生迅速找到所要的題目。題號與題幹之間要以句點或空格隔開,尤其在數學科中,題幹一開頭就是數字時(如例題137)更需如此,必要時還可以變換題號的字型以示區別。

7. 做答位置應有固定大小並作規則排列,以便於閱卷和計分

直接在試卷上作答時,應該把是非題、選擇題和配合題的作答位置放在試題編號的左邊(橫排時)或上面(直排時);而填充題也應該採用固定大小的作答位置並把它移到題號前面。作答位置集中在一邊,且緊接著題號,不但便於計分,也方便考試後的檢討。國小學生手眼協調能力有限,應給予較大的書寫空間,以免增加作答及計分時的困難。

8. 若採分開使用的答案紙應該每隔數題就留有適當的間隔

標準化測驗常使用分開的答案紙以節省紙張成本,這時答案紙的設計最好依照題本上每一欄的題數,每隔數題即空出一題的大小,如此可以方便學生找到正確做答位置。

9. 整份測驗應該把所有試題不分題型連續編號

雖然有許多人已經習慣於把每一種題型都重新編號,但是連續編號不但讓教師和學生便於共同檢討試題內容,當要將原始答案輸入電腦進行資料分析時,也比較容易鍵入和校對資料。此外,若是採用分開的答案紙作答,連續編號更是不可少。

10. 試題要保持其形式上的完整,不可以拆成兩半,而降低其可讀性

排版上有所謂的「孤兒」和「寡婦」。孤兒是指文章需要分欄或分頁時,被單獨遺留在文字欄頂端的一行不成句子的字;寡婦則是指被單獨遺留在段落或文字欄底端的一個字或音節。遇有孤兒和寡婦時,應把文字稍加增減,以消除這種現象。
有些文書處理系統上有所謂的「避頭尾字元」的功能,它可以避免你把前置的標點符號,如:「、『、(、《等放到一行的最底端;也避免把尾隨的標點符號如:。、!、?、》、)、』、」等放到另一行的最上端,使用這種功能也能增加試題或文章的可讀性。
當試題的一部份跑到另一欄或另一頁時,常會造成學生的困惑,閱讀上也很不方便。就整個版面來看會顯得雜亂,而讓閱讀者心煩氣躁,要避免此種現象,應在應在段落樣式中設定為「段落中不分頁」。
當學生需要閱讀某些資料才能作答時(如閱讀理解測驗),應該把這些資料和試題放在同一頁上或同一面的相鄰兩頁(閱讀資料放在左頁或偶數頁,試題放在右頁或奇數頁),千萬不要把試題放到閱讀資料的背面去,讓學生答題時還得不斷地翻頁。

11. 標準化測驗的指導語和試題不可以放在同一面或同一頁上

有時間限制的測驗應該把試題要放在指導語那頁的背面,或是以空白頁將指導語和試題隔開,這樣才可以避免學生在主試者宣讀指導語時就順便偷看試題。

B. 檢查及印製

雖然測驗的檢查與印製過程與測驗編製的專業知能無關,但一份錯字連篇、印刷不清的測驗,顯然不會有內容效度的,當然也不可能得到使用者的信任。

1. 付印之前應該經過校對程序

每個人在以目視的方式校對自己的文章時,常會不自覺地在心裡補回漏字或忽略錯字,所以才需要大聲唸出來或是請別人校對。另外,最好找幾位不同的人來逐題作答,這樣做不只是比較容易找出贅字、漏字及錯別字,也比較容易發現在題意或標準答案上有疑義的題目。

2. 應該依保存年限、作答方式及數量來選擇紙張及印刷方式

紙張的厚薄及品質對於印刷效果和書寫方便性影響很大,在選用前應該事先試用和比較,學校一般多採用印書紙或模造紙。印刷試卷時,若數量少則以影印較為快速,數量多時以製版印刷較為經濟。

3. 試題所附的圖表在印刷前和印刷後要檢查是否正確和清晰

試卷上的圖表通常是剪貼上去的,所以要特別注意它是否放錯位置、貼顛倒、有折痕、或甚至脫落了。此外,要應先試印幾張,確定圖表的細節都足夠清晰後才可以繼續印下去。

4. 單張雙面印的自編試卷應該逐張檢查是否有漏印或相互污染情形

在進行印刷時常因紙張之間的靜電反應而使紙張相互吸附在一起,造成漏印的情形。而室內溫度、濕度、油墨濃淡都會影響油墨乾燥的快慢,所以印刷時要隨時檢查,以免試卷相互汙染。

5. 若要裝訂成冊,最好在排版時就使頁數(含封面和封底)成為四的倍數後,採騎馬訂方式裝訂

由於標準化測驗題本的頁數不會很多,裝訂時可以採用騎馬釘,亦即由封面和封底的齊縫處打釘,貫穿到最中間的齊縫處訂合,然後對摺起來。採騎馬釘裝訂時,不但紙張成本低、印刷速度快,閱讀時還可以使題本完全攤開平放,不會中央翹起來,而且使用後也不會留有折痕。

6. 若採分開使用的答案紙,其大小最好與題本一致,以便於疊在一起收存


標準化測驗大都以題本與答案紙分開的形式來使用,以節省印製經費,設計時若能使兩者的大小或顏色一致將有利於辨認和保管。

撰寫作答說明

A. 作答說明的內容

測驗卷上印出作答說明的主要目的是在確保能讓學生真正發揮其能力,並測得該試卷所要測的能力。學生不實的低落表現,有時是來自於:(1)不了解作答方法,(2)缺乏充分練習,(3)採用了不適當的應試技巧,而清晰適當的作答說明有助於減少這些干擾因素。

1. 教師自編測驗的作答說明

教師自編測驗時所用的題型較少變化,學生大都已很熟悉作答方法,所以其作答說明通常是非常簡短,有時候甚至只有一個標題而已,如「是非題」、「填充題」等。但在較正式的測驗中或使用較新穎的題型時,還是應該有指導語。
而各種題型的配分比例則是教師自編測驗所獨有的,因為師生之間已經習慣每一次測驗都以一百分為滿分,所以在作答說明中要註明每種題型在總分中所佔的比例,或者是每一題所佔的分數,以便學生安排他作答的優先順序。

2. 標準化測驗的指導語

標準化測驗的作答說明(指導語) 內容較多,通常單獨佔了一頁,它至少要包括:
(1)測驗目的。這段要告知學生測驗的名稱及它所測的能力。
(2)作答方法。這部份要告知學生作答時應有的思考程序或操作程序,以及標示答案的方法及位置。
(3)試題範例。常見的題型只用一題,罕見的則用兩三題當作練習題,用以助學生瞭解並熟悉作答方法。
(4)有關於猜答的建議及提前做完時應如何的規定。
(5)特殊規定。例如是否可以使用草稿紙、計算器、換算表等。
(6)作答時間限制。通常是以分鐘為單位,並在最後一行用較大的阿拉伯數字標示出來。
(7)有助於提昇測驗表現的應試技巧。這部份不一定需要,但若知道某些應試技巧會很明顯的影響到測驗分數,就應該提醒受測者,免得讓它變成一個干擾分數的因素。

B. 作答說明的編寫原則

@ 所用的字彙要淺顯,句子要短,使文字可讀性提高。
@ 愈是新穎的題型就愈需要藉著範例來詳細說明其作答方法。
@ 若試卷版面不夠,則常用題型的作答說明可以加以精簡。
@ 在標準化測驗中各個分測驗的作答說明,其格式要前後一致。
@ 國小低年級學生最好不用書面的作答說明,應該改由主試者以口頭說明。

試題的審查

A. 擬題原則的審查

「選擇反應式」的題型之下,有各種題型的擬題原則,「建構反應式」的題型之下,也有各種題型的擬題原則,以下所介紹的則是各種題型皆通用的擬題原則。

@ 除了語文測驗外,要盡可能降低字彙的難度及句子的複雜度。
@ 文字要精簡,以便減少試卷篇幅及閱讀所需時間。
@ 所提的問題要清楚明確,沒有第二種解釋。
@ 要確定每一試題所考的是內容領域裡的重要概念,而非旁枝細節。
@ 同類型的試題中,各題的格式、語法要前後一致。
@ 取材時要避免偏袒某類受試者,以確保測驗的公平性。
@ 撰寫題目時要隨時參考各種題型的命題原則。
@ 要比實際需要量多擬百分之五十的題目,以備檢查、比較後淘汰。
@ 客觀計分的試題,一定要備有各專家都能同意的正確答案或最佳答案。
@ 寫好後過幾天,再自己檢查一次,或請同事檢查,以避免個人的盲點。

B. 公平性的審查

公平性的審查是要找出有偏差的試題,所謂試題偏差(Item bias)是指該試題的內容或敘述方式可能讓某些群體引起不必要的情緒反應或覺得不公平;或是回答該試題時需要用到與測驗目的無關的能力,而使得某些群體處於不利的地位。判斷是否有試題偏差最好要找不同性別、不同種族、不同社經地位或不同性質學校來源的成員來逐題評鑑。
有經驗的審查人員會從認知、情感、及生理三方面找出可能造成分數變動的無關變異量(指與所測量的構念無關,但卻會影響實得分數的變項)。

1. 要避免認知方面的無關變異量

a. 排除不必要的深奧詞彙。  除了語文科測驗之外,考試題目中若使用了不必要的深奧詞彙,就會變成在考語文理解能力,不只有利於語文能力佳的考生,也會使測驗效度降低。
b. 排除與構念無關的知識與經驗。 除了少數特殊性質的測驗外,試題內容若涉及軍事、地區主義、宗教、運動、特殊工具、政治意識形態等,通常會對缺少該知識或經驗的考生不利。

2. 要避免情感方面的無關變異量

選擇閱讀材料或邊你試題時要避免包含與構念無關卻易引發情感反應的議題。例如:意外、疾病和天然災害、死亡和頻死、種族或性別等群體之間的歧視、幽默、嘲笑和諷刺、對於不同國家人民的刻版印象、另有負面涵義的文字、奢華行為、對某宗教的褒貶、性行為、物質濫用(菸酒、毒品)、自殺或自傷行為等等,都容易引發考生的情感反應,讓某些人覺得被歧視、被冒犯,進而影響其作答的情緒和意願。

3. 要避免生理方面的無關變異量

在審查試題內容時,很難找出生理方面的無關變異量,除非它已經印製成正式測驗,或許可以看出是否有印刷不清、裝訂錯誤、作答位置太小的問題。但是在考試過程中,生理方面的無關變異量造成的影響比較明顯,例如,考場中的光線不足、噪音干擾、桌椅不舒適等,另外,遇到殘障學生(視障、聽障、腦傷、肢體殘疾等),而需要輔具或或變更試題呈現方式或作答方式,這些都是在排除生理方面所造成的無關因素。

評鑑時任何有偏差嫌疑的試題都應該拿出來公開討論,只要懷疑者能夠說服其他人,該題就應該刪除或更改,不可以未經過討論就以表決方式決定去留。以下是供審查人員使用的試題偏差檢核表:

表1 評鑑試題偏差的檢核表
  1.題目中沒有對於次級團體的攻擊性的內容。
2.
題目中沒有對於次級團體的攻擊性的用詞用字。
3.
題目中沒有次級團體可能不熟悉的活動或情境。
4.
題目中沒有對於次級團體的刻版印象。
5.
題目中沒有會助長對次級團體刻板印象的內容。
6.
題目中沒有不必要的艱澀字詞或複雜的句型結構。
7.
題目的格式應該是任何次級團體所熟悉的。
8.
題目的內容應該是任何次級團體所熟悉的。
9.
解答題目所需要的技巧應該是任何次級團體所熟悉的。
10.
提供題目訊息的方式不會使次級團體成員覺得難堪或困惑。

C. 內容的審查

對於草擬試題優劣的評鑑,有兩種方式,一種是經驗判斷法,一種是實證研究法。經驗判斷法又稱「試題內容審查法」,它是找一些相關的人來,並依據一些評鑑標準對編擬好的試題內容做評鑑。有關的評鑑標準、評鑑人員資格及人數、對評鑑結果一致性的要求等都經過整理列在表2中。
至於使用哪些評鑑標準則是由測驗目的來決定,並不是所有標準都得同時使用,但通常不論哪種測驗都有好幾個標準可以適用。

表2 以「試題內容法」評鑑試題的摘要表
評鑑標準
  主  要  問  題
  評  鑑  者
評鑑者人 數
結果是否
應該一致
答案正確性
標準答案是否正確?
學科及測驗專家
少許
是
題意明晰性
是否符合題目編寫標準?
表達是否清楚?
學科及測驗專家
學生
少許
很多
也許
答題難易度
試題難易程度是否恰當?
教師、學生
多
不
內容重要性
此一知識技巧是否重要?
學科專家、教師
多
也許
試題偏差
是否會讓特定團體成員覺的不公平?
各種團體成員
多
可能不
與測驗計畫符合性
試題是否符合教學目標或命題計畫的界定?
學科及測驗專家
少許
也許
與課程關連性
試題所要測的知能是否出現在課程教材中?
學科專家、教師
很多
不必,但越高越好
與教學關連性
學生是否有充分機會學到試題所要測量的知能?
教師、學生
很多
不必,但越高越好

1. 答案的正確性

答案的正確性是指該題目的標準答案是否取得各專家的一致同意。判斷程序是在該題已經完成所有編改程序後,請多位對該題目所評量的內容深具學養的專家來獨立作答,若答案有不一致,則應該透過相互討論來取得一致;若意見仍不能一致,則該題應該廢棄,絕對不可以採用表決來決定標準答案。

2. 題意的明晰性

題意的明晰性通常是指題目的用字淺顯、精確,句子結構簡短,且格式前後一致,學生不會因為命題者的表達方式而產生困惑。明晰性高的題目可以降低語文理解能力與一般智力對測驗分數的影響,提高學科成就測驗的效度。

例題1
(    )1.
辨別太白粉的方法是什麼?(題意不清)
          A.
加水   B.加食用醋   C.用聞的   D.加碘液
(    )2.
哪一種是辨別太白粉的方法?(較佳)
          A.
加水後會溶解   B.加食用醋會起泡   C.聞起來香香的  D.加碘液會成蘭紫色

3. 試題的難易度

難易度是指全部受測學生答對該題的人數比率。只根據試題內容來判斷試題的難易度確實不容易,尤其是面對新的題型或新的教學單元時,因為缺乏類似題目的經驗,即使是資深教師也難以掌握它的難易度。此一評鑑標準若可以的話應該改用學生實際答對比例來推估。
教師對試題難易度的初步估計可作為預試時排列試題之用,然後再以試題分析求得的通過率取代之。但若無法進行預試及試題分析,那教師的難易度估計將是編排試題的唯一依據,這時可以根據多位教師對該題難易度估計的平均值來排列試題。

4. 內容的重要性

所謂內容的重要性是指該題目所測量的知識技能是課程的最核心部份、或是勝任某一工作所必備的、或是進入下一單元學習所必需的。當我們對題目做重要性的判斷時,最好指出其參照點(如,對......而言是重要的),同時應該容許它有程度上的區分(如,非常重要、有些重要、有關係、無關的)。

5. 與測驗計畫的符合性

一般而言,測驗命題計畫會對教學目標、試題格式、刺激屬性、認知層次、誘答產生原則等都有詳細的敘述,以作為對試題的「界定」(或稱試題規格)。而符合性是指請學科及測驗專家來判斷該試題是否符合命題計畫上的界定。
判斷試題與其界定的符合程度是一件技術性很高的工作,評鑑者常需要親自作答,以推論回答該題所真正需要的認知或其他能力。由於題目所測量的內涵有部份取決於學生的學習或其他經驗,而評鑑者常因為對學生經驗了解不夠,而平添了判斷上的困難,例如專家認為可以測量學生應用能力的試題,很可能教師已經當作例題講解過了,因此實際只能測到學生的記憶能力。
另外,評定整份測驗的所有題目是否能夠充分代表所欲測量的內容領域,也是很重要,這種把所有題目與命題規格明細表 (Specification) 做比對的過程稱之為「內容效度的驗證」。

6. 與課程的關連性

當專家們認為試題內容與學校課程內容或職業訓練課程內容相符合時,它即具備了「課程效度」。若該測驗是用來為某一職位篩選合格人員時,它的試題就必須與該職位的工作分析結果或職業角色描述有密切關連。

7. 與教學的關連性

「與教學的關連性」又稱為「教學效度」是指教學評量或畢業資格考試等的試題是否與學生的實際學習內容有密切關連。藉著調查教師所用的教材及教學進度可以評估部份的教學效度;但最直接的方式還是直接詢問教師(和學生),看測驗所考的知識和技能是否他們教(或學)過。此時應注意的是,問題重點不在於題目內容是否在課堂上討論過,而是學生是否都有公平機會學習解答該題目所需要的知識和技巧。