2016年11月1日 星期二

如何運用分數作成決策

一、預期表

預期表(expectancy tables)是具有兩個向度的表格,它左邊是由大而小的測驗分數(預測變項)而且是由上而下排放,上面是由小而大歸類成幾個等級的成就分數(效標變項)且是由左而右排列。

表1即是預期表的範例。在表中顯示,如果一個考生的大學入學考英語科分數是35分,而他選擇就讀英語系,則將來畢業成績落在70-79分的機率最高,約55%,而落在90分以上的機率最低,只有2%。

表 1 英語系學生在大學入學考英文科分數與畢業總平均成績的關係的預期表
入學考試│     英語系畢業總平均成績 
英文分數│ 60-69    70-79   80-89   90以上
90以上        0%       11%       33%     56%
70-79           2%        7%       40%     51%
60-69           7%        7%       50%     36%
50-59           9%       11%      48%     32%
40-49           21%     19%      46%     14%
30-39           32%      55%     11%       2%
30以下       45%       34%     21%       0%

預期表可以很清楚地顯示兩組分數的關係,雖然它在處理上比相關係數更累贅,但是卻很容易被缺乏統計學知識的人所瞭解,同時它可以很清楚地說明一個測驗的預測效率,除此之外,它也是用以說明一個測驗的效標關連效度(Criterion-related validity)的一種簡單又實際的方法。

二、兩階段決策法



三、同時使用多種測驗作決策

當同時以多種測驗分數來師篩選或預測未來工作表現時,這些測驗又稱為測驗組合(Test battery)。大學或高中聯考中的測驗可以算是一種成就測驗組合;但是最常用的還是多元性向測驗組合,例如,用於幫助高中學生選擇大學科系時所用的區分性向測驗(Differential Aptitude Test, DAT),或職訓中心甄選各職種學員所用的通用性向測驗(General Aptitude Test Battery, GATB)。

在使用測驗組合時最主要的兩個問題是:(1)應該選擇哪些個測驗來預測未來表現最為恰當,(2)這幾個分數在統計上要如何處理,才能做出正確判斷。為了解決這些問題測驗專家提出了兩種解決策略,一個是多元迴歸公式法,另一個是多重切截分數法。

A.多元迴歸法

簡單迴歸法是以一個測驗分數去預測個人在效標上(畢業成績、工作考績)的表現;而多元迴歸公式(Multiple regression equation)則是同時以多個測驗分數去預測未來在效標上的表現。

若大部分的測驗分數與效標有顯著的直線相關(與效標的積差相關高),且各測驗之間的內容不重疊(各測驗之間的積差相關低)時,使用多元迴歸法的與測效率最高。多元迴歸的計算公式如下:

Y’= a + X1b1 + X2b2 + X3b3 + X4b4 +……… (公式 13?14)
Y' = 個人的效標表現分數(預估值)
a = 截距
b1, b2, b3…...= 各測驗的迴歸係數(斜率)
X1, X2, X3....= 個人在各測驗上的原始分數

B.多重切截法

使用一種測驗結果做二元性判斷(及格\不及格、錄取\不錄取)時,需要設定一個切截分數(Cut-off score),才能把所有的受測者一分為二。但若同時使用多種測驗結果來篩選時,則需要設定多重切截分數(multiple cut-off scores)。

切截分數可以應用在兩種場合,一種是在篩選性測驗中判斷錄取或不錄取,故又稱為「最低錄取分數」;另一種場合是在效標參照測驗中判斷學生的學習結果是精熟或未精熟,通常又稱為「通過分數」。

至於決定篩選的切截分數高低的因素有二:第一個是篩選率,亦即參與甄選與擬錄取人數的比例,切截分數的高低與參與甄選的人數成正比,但與擬錄取的名額成反比。第二個是決策者的經驗判斷,亦即做決定者依據其過去經驗及專業判斷認為錄取者應具備的最低能力如何,並依此主觀設定一個最低標準。

多重切截分數適用於以多元性向測驗來預測受測者是否將來能勝任某一種職業,測驗研究者會會建立個別職業常模,並依據各分測驗分數與效標(工作表現的評等)的相關來找出關鍵分測驗,再依據優秀從業者(全部從業者的前三分之二)在這幾個分測驗上的平均數及標準差來設定切截分數。

沒有留言: