9. 設定切截(通過)分數
標準 4.19
當所要做的分數解釋涉及到一個或更多的切截分數時，用來建立這些切截分數的理論依據和程序要清楚地以書面說明。
說明：設定切截分數有時只是為了挑選一定數目的受測者（如填滿現有缺額），雖然這時應把主要注意力放在法律規定上，而不太需要詳細說明切截分數是怎樣設定的。
但在另外一些情形下，切截分數可能用來劃分受測者的類別（如診斷性分類，或及格/不及格），而它又沒有事先定好的比例。這時，設立切截分數的方法就必須清楚地說明。
最理想的狀況，是在設計測驗時就把切截分數在測驗使用及解釋中的地位考慮進去。分數量尺在切截分數附近區域有恰當的精確度是正確劃分受測者類別的先決條件。
如在設立切截分數時用到效標群體（criterion groups）的分數分佈資料，或分數相對於一個或多個效標變項（criterion variables）的資料時，應在技術文件裡綜述這些數據資料。
如果是使用專家共同判斷的方法來確定切截分數，那麼所使用的人數、資格、步驟等也要詳細記載。無論這些共同判斷是針對人員、試題或測驗表現、或測驗分數所預測的其他效標表現，這些判斷所要求的精確度都應呈現出來。
在文件中還應記載這些判斷者的挑選方法及資格、提供的研習、對他們的判斷意見的含義作出的反饋，以及判斷者之間任何交換意見的機會。若可以的話，各判斷結果之間的變異量也應加以報告。
假若設定切截分數的程序可以重做一遍時，應該提供預期的切截分數變異量的估計值。
標準 4.20
若受測者類別的解釋意義在實質上截然不同，這樣的切截分數的建立應該以穩固的實證資料為基礎，如測驗分數與有關效標的相關係數。
說明：在甄聘測驗中，儘管建立測驗分數和職位實作表現的關係很重要，測驗和效標之間的準確聯繫可能對切截分數的選擇沒有多大份量。然而，當不同的分數類別擁有完全不同的解釋時，測驗及其測量的效標之間的實證資料的關係則非同小可。用於解釋診斷性測驗的切截分數可能建立在實證確定的效標群體分數分佈的基礎上。
對於學業測驗或資格測驗（如執照測驗等），常常沒有現成可用且合適的效標群體（如成功或不成功的執業人員）然而，在合適和可行的情形下，最好還是要能夠瞭解在實務中測驗分數和工作表現的關係。
注意，一個完全根據對內容的相關性和試題難度判斷而設計和落實周全的程序可能優於一個用不恰當的準則測量方法或有某些其他的缺陷的實證研究。
在任何給定情況下，確定一種或數種方法合併使用的合適的切截分數設立方法都需要用到專業判斷。一般而言，人們不指望在緊臨切截分數以上或以下的效標變項的程度有明顯不同。但只要實際可行，應提供包括或靠近切截分數的分數域裡測驗和實際標準操作之關聯的證據。
標準 4.21
當界定及格與否或精熟類別的切截分數，是基於對試題、測驗表現、或表現水準的合適程度作直接判斷時，應將判斷過程設計成能夠合理運用判斷人員的知識與經驗。
說明：有時候切截分數的界定是基於試題或測驗分數（如作文）或表現水準的合適程度（如表現臨界線上受測者特性的程度），用於推導出這樣判斷的程序應該產生出合理並經得起考驗的標準，而且這些標準要能正確地反映判斷者的價值觀和意圖。
若要求判斷者所考慮的那種測驗表現是他們已經熟悉的，而且他們對於它的適當性或品質已經形成清楚的概念，那要達到這種判斷就可以很直截了當。
但是當這些測驗表現既不是源自工作樣本(sample)，也不是對真正效標領域的知識或技能的逼真模擬(simulation)時，判斷者就不太可能有那麼清楚的理解來完成這判斷。
要有特別的安排，以確保判斷者在作所要求的判斷時，有一個堅實的基礎 。透過對於不同精熟類目的熟悉、在練習判斷工作的難易度時其準確性的反饋、實際做這一測驗的經驗、根據暫定標準會有多少比例會被評為不及格的迴饋，以及其他形式的訊息，都可以幫助判斷者達成重大且原則性的決定。
沒有留言:
張貼留言