2011年11月15日 星期二

受測者的權利與責任(2)

身為受測者,你有責任:
  1. 閱讀和/或聽取你身為受測者的權利與責任。
  2. 在施測過程中對待別人要有禮貌和尊重。
  3. 在施測之前問問題,如果你不確定為什麼要作這測驗,它要如何進行,你應該怎麼作,以及這結果會拿來做什麼用。
  4. 在測驗之前閱讀或聽取有關測驗的說明,並仔細聽所有的測驗指導語。如果你希望施測過程能作調整測驗 或如果你有生理障礙或疾病它可能會影響你在這測驗上的表現時 你應該在施測之前告知施測者。 如果你難以理解這測驗所用的語言時, 你有責任告知施測人員(例如你剛移民到別國去)。
  5. 知道測驗舉行的時間和地點,必須的話付測驗費用,帶著所需要的材料及時出現,並在身心上準備好接受測驗。
  6. 遵守測驗指導語,並在施測過程中誠實地表現你自己。
  7. 要熟悉並接納不參加測驗的結果,你可以選擇不接受測驗。
  8. 如果你相信施測情境會影響你的結果,要去告知這測驗組織指派來主持施測的人員。
  9. 如果你對於你的測驗結果的保密性有疑慮,你可以發問。
  10. 如果你對於施測過程或結果有疑慮時,你可以適時地、以尊重的態度說出來。

對於受測者的責任,我們應該作什麼?
測驗專業人員應該採取步驟確保受測者知道除了上述所說的權利之外,他們也有一些特定的責任。

  1. 我們應該告知受測者,他們應該聽或讀有關他們身為受測者的權利與責任,並問清楚他們不太清楚的地方。
  2. 我們應該採取步驟,以確保受測者知道他們:
    • 在整個施測過程中,要為他們的行為負責。
    • 在施測過程中不可以干擾他人的權利。
    • 不可以以任何方式損及這個測驗和其解釋的正確性。
  3. 我們應該提醒受測者說,如果他們不確定為什麼要作這個測驗,它會如何實施,他們應該怎麼做,以及測驗結果會做什麼用,那麼在施測之前,提出問題是他們的責任。就這點我們可以:
    • 勸告受測者說,要仔細閱讀測驗出版商和其他人所提供的材料,把它視做施測過程的一部分,並要在測驗開始之前,問清楚他們覺得他們應該知道的事。
    • 告知受測者,如果他們對於他們的測驗結果將如何被使用,及對於他們會有什麼影響,並不太清楚時,那他們應該要求更多的訊息。
  4. 我們應該告知受測者說,他們應該閱讀在測驗之前拿到的說明材料,並仔細聽測驗指導語。我們應該告知受測者說,如果他們希望有施測程序的調整,或如果他們的生理條件或及並可能干擾到他們的表現時,他們應該在施測之前告知主試者。我們應該告知受測者說,如果他們難以理解這測驗所用的語言時,他們應該告訴主試者。我們應該:
    • 告知受測者說,如果他們需要特殊的施測安排,那麼提出要求作適當的調整施,並在施測日期之前提供任何需要的文件證明,是他們的責任。我們應該告知受測者有關要求做施測程序調整所需要的證明文件。 
    • 告知受測者說,如果他們要求施測程序做調整,但沒有被接受時,那他們可以要求知道他們被拒絕的理由。
  5. 我們應該告知受測者,關於測驗的時間和地點,以及這測驗是否需要付費。在有這樣的告知之後,受測者就有責任帶著指定的材料準時出現、付測驗費用,並準備好接受測驗。我們應該:
    • 告知受測者說,他們有責任自己去熟悉測驗所需要的材料,並主動去詢問有關這些材料的訊息。
    • 告知受測者,如果該測驗有要求受測者自己帶材料(例如,身分證明、鉛筆、計算器等)到測驗教室,他就一定要帶。
  6. 我們在施測之前應該勸告受測者,這是他們的責任:
    • 聽或讀給他們的指示。
    • 服從我們的指示說明。
    • 按照指示完成測驗。
    • 如果他們想要讓他們的分數反映出他們的最高能力,就要盡力而為。
    • 要誠實(例如,不要作弊或幫助別人作弊)。
  7. 我們應該告知受測者有關不接受測驗的後果,他們應否選擇不接受測驗。一旦告知之後,接受這樣的後果就是他們的責任,而我們應該如此告知受測者。 如果受測者對於這些後果有疑問,那去問我們是他們的責任,而我們應該如此告知受測者。
  8. 我們應該告知受測者,說如果他們不了解他們的結果,或他們相信這施測條件影響到結果,那他們應該告知測驗機構指派主持測驗的人。因此我們應該:
    • 在被要求時,要提供訊息給受測者,有關於要求查詢或取消他們的測驗分數或結果的適當程序。
    • 在被要求時,要提供訊息給受測者,有關於複查、重新測驗或取消他們的分數或測驗結果的程序,若他們認為施測條件影響到他們的結果。
    • 提供文件給受測者,說明已經知道的可能會影響到測驗結果的施測條件。
  9. 我們應該告訴受測者說,如果他們擔心的話,那詢問他們的測驗結果的保密性,是他們的責任。
  10. 我們應該告訴受測者說,以適時及尊重的態度表達他們對於施測過程的疑慮是他們的責任。

受測者的權利與責任(1)

這篇文章的主要目的是要列舉並釐清受測者對於施測過程的合理的期望,以及那些編製、實施、和使用測驗的人對於受測者的期望。

在這裡,「測驗」可以廣義地解釋為由測驗專業人員所編製和使用的心理與教育測驗,它包括在學校、企業界、臨床診所、諮商機構、和社會工作等相關機構裡面,用來對人作推論的那些評量程序和工具。

而「測驗專業人員」包括評量工具和服務的編製設計人員、出版及銷售人員、選用測驗工具的人、測驗的主試者和計分人員、解釋測驗結果的人員、以及使用結果的專業人員,在以下本文中的「我們」就是指這些測驗專業人員。
本文的目的不只是要告知並協助教導受測者,同時也在提醒與實施測驗相關的人員,如此才能夠使得測量工具有效且適當的被使用。本文期望能夠激發人們改進施測過程,而不能期望它具有法規的效力。它的本意是希望促進我們和受測者之間的良好且積極的互動。

本文中所提到的權利與責任並不是法律所規定的,它們只是代表測驗專業人員對於涉及測驗工作的所有人員的(測驗編製者,測驗使用者,和受測者)彼此應有行為的合理期待,它們在<心理與教育測驗標準>一書中,或其他測驗教科書中有關測驗專業倫理的部分都有說明,本文只是作更有系統的整理。

在某些情況下,測驗編製者和測驗使用者不是同一個人,同一個團體,或同一個組織。在這種情況下,這些參與測驗的專業人員應該釐清,不只是為受測者也同時為他們自己,誰應該為施測過程的哪一部份負責。

舉個例來說,當一個人在接受大學入學測驗時,除了受測者外至少還有三方面的人會遷涉進來:測驗編製者和出版者、對受測者施測的主試人員、以及最後會使用這些測驗訊息的高等教育機構。

在這種情況下,受測者可能需要要求澄清有關他們的權利與責任。另外,如果受測者是幼童(例如,在學校中接受標準化測驗的低年級學生),或是全時或部分時間住院的精神病患,或是身心障礙的,這時父母或監護人可能需要代替或幫助當事人來行使這些權力與責任。
身為受測者,你有權利 : 
  1. 被告知你身為受測者的權利與責任。
  2. 不管你的年齡、殘障、種族、性別、國籍、宗教、性取向、或其他個人特質,都能受到有禮貌、尊重、且公平的對待。
  3. 知道所使用的測量工具是符合專業標準的,且就測驗結果的使用目的而言是適當的。
  4. 在測驗進行之前,接受口頭或書面說明,討論關於測驗目的、測驗種類、測驗結果是否會向你或別人報告、結果將如何使用,等等。
  5. 如果你有殘障,你有權詢問有關調整施測程序的問題,並得到適當答案。如果你在理解測驗中所用的語言上有困難,你在測驗之前有權知道是否會為你做任何的調整。
  6. 在測驗實施之前知道,你能否拿到測驗結果,若可以,是何時?以及就這測驗服務你需要付哪些費用?
  7. 要求受過訓練且知道專業倫理準則的人,來為你實施測驗和解釋你的測驗結果。
  8. 知道這一測驗是不是一定必要做? 而且知道做或不做該測驗的後果如何? 或是沒有完成全部測驗? 如果要求取消分數?你可能需要問清楚各種可能的結果。
  9. 在施測後一段合理的時間之內,接受有關你的測驗結果的書面或口頭的解釋,並且是以一般人都能懂的用詞。
  10. 在法律允許的範圍內,要求將你的測驗結果列為機密資料。
  11. 提出對於施測過程或你的測驗結果的疑慮,並知道有關於如何提出這些疑慮的程序。
對於受測者的權利,我們應該作什麼?
  1. 因為受測者有權利被告知他們身為受測者的權利與責任,所以通常是由實施測驗的人(或準備這測驗的組織)負責去告知受測者這些權利與責任。
  2. 因為受測者有權利不管他們的年齡、殘障、種族、性別、國籍、宗教、性取向、或其他個人特質,都能受到有禮貌、尊重、公平的對待,所以我們應該:
    • 讓受測者知道有哪些材料可以幫助他們作測驗準備。這些材料應該清楚地寫在測驗報名程序表上和/或測驗宣導材資料上。
    • 檢查看看是否每位受測者都有合理的機會得到測驗服務。
  3. 因為受測者有權利知道所使用的測量工具是符合專業標準的,且就測驗結果的使用目的而言是適當的,所以我們應該:
    • 採取措施來使用符合專業標準的測量工具,讓它對於所要達到的目的而言是可靠的、有關係的、有用的,並且對於各種不同社會團體而言是公平的。
    • 勸告受測者說如果他們是法律所承認的殘障人士,他們有權利要求在測驗的程序或設備上作合理的調整,以增加他們的測驗分數的效度。
  4. 因為受測者有權利在接受測驗之前被告之,有關測驗的目的,測驗的性質,測驗結果是否會向受測者報告,以及將如何使用測驗結果(若不與測驗目的相衝突),所以我們應該:
    • 給予或提供受測者機會取得有關測驗目的 (例如,診斷、安置、篩選,等等)以及將使用的測驗的種類和試題型式(例如,個別/團體、選擇題/申論題/實作、計時/不計時,等等)的簡要描述,除非這類訊息可能會不利於測驗的客觀性。
    • 在測驗之前應該告知受測者,有關這測驗結果的用途。若被要求的話,受測者應該可以知道關於這類測驗分數通常存檔並可隨時取閱的時間有多長。
    • 若被要求的話,受測者應該知道採取了哪些預防措施以保護測驗分數的正確性。這類訊息將包括任何被使用過的品質控制程序、以及某些防止作弊的措施。
    • 在測驗之前就告知受測者,他們應該自行攜帶到考場的材料(例如,筆、橡皮擦、白紙),以及允許或禁止使用其他材料(如,計算器)等相關規定。
    • 當被詢問時,要提供關於此一測驗在它所要達成的目的上的適當性的一般性訊息,但不要多到變成事先透露測驗內容。(舉例來說,受測者可能被告知說「這個測驗分數在預測人們在這種工作上的成功機率是很有用的」或「這個測驗分數,加上其他的資料,可以幫助我們決定學生是否能夠從這個方案中獲益」)
    • 當被詢問時,要提供關於重測的訊息,包括是否可能在重作這一測驗或其他的版本,若可以的話,通常要隔多久,最快什麼時候,以及在什麼條件下可以重測。
    • 當被詢問時,要提供關於這測驗將如何計分及相關細節。在選擇題為主的測驗上,這類訊息可能包括對作答上的建議,以及是否使用猜測校正公式。在依據專業判斷來計分的測驗上(例如,論文式測驗或投射技術),應該提供對於計分程序的一般性說明,除非是這類訊息會不洽當地影響測驗表現。
    • 告知受測者關於例行提供的回饋和解釋的類型,還有額外付費可得到的資訊。受測者有權詢問並知道,他們是否可以獲得他們的測驗答案紙的影印本或是測驗題本?他們能否複查他們的分數?以及能否取消他們的測驗結果?
    •  在施測之前,提供受測者正式書面說明,或以其他文件或口頭方式回答受測者對於基本的測驗實施程序方面的問題。
    • 在施測之前,告知受測者,在施測過程中將不允許受測者問任何問題。
    • 在施測過程中若有使用到電腦、計算器、或其他設備的話,要提供受測者有關的訊息,並讓他們有機會練習這些設備,除非沒有練習之下的使用是測驗目的的一部分,或是練習將會損及測驗結果的效度。如果需要的話,為了使用這設備提供施測程序的調整。
    • 告知受測者說,如果他們有殘障,他們依照殘障福利法,有權利要求對於測驗的設施或施測方式做適當的調整,以保障其公平性。
    • 如果在做決定時,受測者對於哪一個測驗、測驗版本、測驗格式有自由選擇權時,要告知受測者這方面的訊息。
  5. 因為受測者有權利事先被告知,測驗何時會實施,是否能得知測驗結果,若有,何時?以及是否有測驗服務費用是受測者應該付的,所以我們應該:
    • 若先前宣布的測驗時間地點有改變的話,要及時通知受測者,並作合理的解釋,然後告知受測者新的安排。如果有作改變,新提供的測驗安排應該與原來的安排一樣合理。
    • 在施測之前,不但要告知受測者這施測過程所需要付的費用,若各部分可以分開算的話,還要具體說明每一部分的費用。
  6. 因為受測者有權利要求由受過適當訓練的人員來實施和解釋他們的測驗,所以我們應該:
    • 知道要如何依照所要達成的目的,選擇適當的測驗。
    • 當接受測驗的人有殘障證明或其他特別的狀況,需要特別的施測條件和/或解釋結果時,要有技巧和知識來作這樣的施測和解釋。
    • 在被要求的時候,適度提供有關於他們的施測資格的資料。
    • 確保測驗情境(條件)不會干擾到測驗表現。測驗情境要儘量類似當初建立常模時的測驗情境。
    • 讓受測者有合理的時間完成測驗,除非該測驗是有作答時間限制。
    • 採取適當的行動去預防欺騙的行為(例如,作弊),以免讓誠實的受測者處於不利地位。
  7. 因為受測者有權利被告知為什麼他們會被要求作這特別的測驗, 這測驗是否可作可不作,以及若他們選擇不完成這測驗會有什麼後果。所以我們應該:
    • 通常只有受測者在被告之後同意(informed consent)接受測驗,然後才可以進行測驗活動,但是若這個測驗是法律或政府規定的(例如,學校的期中考或期末考),或是當受測者的行動已經隱含著同意作這驗時(例如,當去應徵一個職位,而有規定要考試時),就不需要事先得到同意。
    • 向受測者解釋為什麼他們應該考慮志願接受測驗。
    • 若一受測者拒絕接受或做完一志願性的測驗,用口頭或書面解釋因為他們這樣做可能會帶給他們的負面結果。
    • 如果我們決定變更測驗的種類,而它不同於當初受測者所同意的測驗 (例如,我們可能認為多實施一個額外的測驗或使用一替代的測驗會比較合適),就要提前告知受測者,並說明做這樣改變的理由。
  8. 因為受測者有權在施測之後的一段合理時間之內,接收到對於他們的測驗結果的書面或口頭的解釋,並且要以通俗易懂的言詞。所以我們應該:
    • 解釋測驗結果時要顧及一些個額外的因素 (例如,殘障,語言精通程度),如果這些因素是與測驗目的和測驗表現有關,且是符合現在的法律。
    • 在被要求時,提供訊息給受測者,關於用來解釋他們的測驗結果的資源,包括技術手冊,技術報告,常模,以及對這比較的團體的描述,或關於受測者的額外訊息。
    • 在被要求時,提供建議給受測者,關於他們可以如何改進他們在測驗上的表現,以及他們是否應該選擇或被要求再作一次測驗。
    • 在被要求時,提供訊息給受測者,關於他們能否就他們的結果來獲得第二個解釋。受測者可能選擇另一個受過訓練的專業人員來提供第二個意見。
    • 當個人的測驗分數被報導出來,且和及格不及格標準相比較時,要向受測者說明用來決定通過分數的規準。
    • 在被要求時,要告知受測者,他們的分數可能會有多大的改變,他們是否應該再作一次測驗。這類訊息應該包括由於測量誤差導致測驗表現上的變化 (例如,適當的測量標準誤),以及隨著時間經過,再加上或沒加上介入處理(例如,額外的訓練或處理)時,分數的變化。
    • 以適當且敏感的態度傳達測驗結果給受測者,不要使用負面的標籤或評論來刺激或羞辱受測者。
    • 在計分或報告分數時若發生錯誤,應該儘快地提供更正後的分數給受測者。
    • 如果在評分加總或換算的過程中有任何錯誤,應該立刻更正過來。
  9. 因為受測者有權利在法律允許的範圍之內將測驗結果保持機密,所以我們應該:
    • 確保測驗結果的紀錄(以書面或電子形式)是被安全地保護和維護,因此只有法律上有權利取得的人才可以取用。
    • 在被要求時,應該提供資訊給受測者,關於誰有法定的權利取得他們的測驗結果(指個人的結果)以及以何種形式。我們應該適當地說明理由,為什麼那些人可以取得測驗結果,以及他們可能會如何使用這結果。
    • 在施測之前,勸告受測者說,他們有權去限制某些人或機構,或為某種目的時,去取得他們的測驗結果(指個人的結果)。但是若受測者或他們的監護人同意釋出測驗結果給別人,或當我們經由法令授權可以釋出測驗結果時,則是例外。
    • 對於任何提出調整施測程序的要求,以及支持這要求的證明文件,也要保守秘密。
  10. 因為受測者有權利提出對於施測過程的疑慮,並知道如何提出這些疑慮的程序,所以我們應該:
    • 告知受測者,如果他們不相信這測驗的實施是恰當的或計分是正確的,或有其他類似問題,那他們可以對測驗結果提出異議。
    • 告知受測者,當測驗結果是整個有錯誤或部分有錯誤時,不同的申訴與處理的程序。
    • 如果他們的測驗結果正在被調查,且可能被取消宣布無效或不拿來作正常的使用時,就要告知受測者。在這種事情上,調查應該應該儘快地進行。調查時應該就提出調查的理由,調查所有可用的訊息,而且應該告知受測者,他/她可能需要提供的訊息,以幫助調查。
    • 如果這位受測者的測驗結果是被取消或沒有寄送出去作正常的使用時,要告知受測者為什麼會採取這樣的行動。但受測者也有權力提出要求並獲得回答有關於作出這決定所用的證據和程序。

2011年10月30日 星期日

測驗編製步驟(12)及其對應的教育與心理測驗標準

12. 測驗技術報告


標準 3.1
測驗和施測計畫應建立在正確的科學基礎上。測驗編製者和出版商要編輯、記錄測驗編製的合適證據。

標準 6.5
當可以得到提供分數信度證據和建議解釋效度的統計描述和分析時,這些資料只要是和測驗解釋有關的,就應包括在測驗文獻編製中。
測驗文獻一般應包括試題層次的材料、分數線和構成切截分數的規則、原始分數和推導分數的材料、常模數據資料、測量標準誤差及關於試卷等化過程的描述。

標準 6.13
當測驗有實質性的改變時,應該對測驗的相關文獻進行修訂、補充或修正,以保持資料的及時性,並提供有用的額外訊息或告誡。

標準 6.14
每一份題本和輔助文件都應該印有版權日期或出版日期。

說明:在正式使用測驗的期限中,可能有新的或修訂過的題本出版,可能增加或修訂手冊以及其他材料。

目前和將來的使用者都有權知道包括題本在內的各種文件的出版日期。在實證性質的研究中,若某些特定測驗文件在研究報告裡被引用得含糊不清時,研究人員之間的溝通就會受到妨礙。

測驗編製步驟(11)及其對應的教育與心理測驗標準

11.建立題庫

標準 6.4
測驗起初所針對的受測者群體和測驗規格明細表應該做成書面說明。
如果適用的話,也應在相關的測驗手冊中描述題庫和建立分數量尺的程序。
如果有常模數據的話,應描述建立常模群體的相關人口統計學方面的變項,以及報告數據收集的年份。

說明:在測驗文獻中還需清楚闡述對某個測驗群體而言,已知的測驗的侷限性。另外,如果某一個測驗有不同語言的版本時,在測驗文獻中應提供測驗翻譯或改編的程序、每個建立常模的樣本和人口統計學資料、以及各種語言版本在分數解釋方面的問題。

測驗編製步驟(10)及其對應的教育與心理測驗標準

10. 報告測驗結果


標準 8.13
在教育測驗和證書及執照測驗實務中,特殊情況需要時,受測者有資格在解決有關測驗的爭端中受到公平對待和合理的處理,並獲知任何現行的索取補償的方法。

說明:當受測者的分數被質疑,並可能被宣佈無效時,或當受測者尋求複核或修改他的分數或測驗、評分、成績報告中的某些問題時,受測者有資格接受一定的審查程序,使得測驗主持人或使用者能提出有效的意見或審核決策程序。

根據與測驗有關的後果的重要性,這個過程可以從測驗主持人對所有相關數據作一個內部複核,到與受測者作非正式談話,到一個完整的行政程序的聽證會。

後果影響越大,有步驟的保護程度就應該越大,還應該通告受測者要求補償的步驟、費用、決議形式、所需時間、以及對受測者造成的任何可能後果。有些測驗計畫會勸告受測者可以請律師,儘管律師費可能要由受測者自付。

標準11.6
測驗使用者有責任及時向受測者和其他有權得到相關訊息者,提供清晰易懂的成績單,除非當時的情形確實需要扣留測驗結果。

說明:成績單的性質常常受實際需要的支配。有時候,可能只需一個簡短的打印成績單就行了。在其他情況下,也許口頭和書面的成績報告兩者都需要。

分數解釋應根據接收對象的理解能力而調整。當受測者是一個幼童時,通常要向家長或監護人解釋測驗結果。

當測驗目的是選拔或晉陞時,通常不需要提供成績單或分數解釋之類的回饋。

標準 11.12
測驗使用者或測驗主辦單位應向受測者說明:如果機會允許,他們可以重考。
測驗使用者也應說明成績單送達收件人的最早和最遲的時間。


說明:有些測驗計畫允許受測者可以一再覆參加,並允許取消成績,或不把成績單寄送接收機構(指申請的學校或企業)。如果受測者享有這樣的權利,應該告知受測者和成績接收機構雙方。

標準 11.15
測驗使用者應該警惕那些潛在的錯誤解釋和可能出現的事與願違的後果。測驗使用者應採取措施,將可以預見的錯誤解釋和事與願違的負面後果降低到最低限度,甚至避免這樣的事情發生。

說明:善意的、缺乏專業知識的社會大眾也許會過於簡單地解釋測驗分數,或將高分、低分或平均分數都歸結為單一的原因。經驗豐富的測驗使用者有時能預見這樣的錯誤解釋,並應設法防止其發生。

顯然,並非所有的事與願違的後果都可以預見,但我們需要盡力去防止出現負面後果,並鼓勵正確的解釋。

標準 11.20
在教育測驗、臨床診斷、和諮商測驗中,不應該單獨地解釋受測者的測驗分數;應考慮綜合其他訊息,這樣做可能對該受測者分數會產生一些不同的解釋。

說明:不必要也不可能對每一個受測者的分數做詳盡的分析。有時候,也許沒有什麼綜合的或有價值的訊息。然而,在教育、臨床和諮商情境中,很可能存在相當多的相關訊息。

對於低分數的幾種明顯的解釋,一般包括動機不足、語言欠流暢以及不熟悉測驗題目裡的文化背景、知覺障礙或運動機能不平衡等。

在臨床診斷和諮商中,測驗使用者不應忽視受測者在日常生活中的表現。

標準 11.21
除非測驗使用者擁有專業知識,能夠判斷由電腦產製的測驗分數解釋對於不同受測者的合適性,否則他們不應該依賴這些解釋。

說明:評分機構有責任記錄解釋測驗成績的依據。使用電腦化評分並報告成績的人,有義務熟悉電腦產製的測驗分數解釋的一般原理。

測驗使用者應能借助受測者其他的相關證據來評鑑電腦產製的分數解釋。

電腦自動產製的、敘述性的報告不能夠取代中肯的專業判斷。

標準 13.19
在教育環境中,在報告學生群體的平均分數和總分的時候,需要同時報告樣本大小、分數的分佈形態、或離散程度等補充訊息。

說明:在設計分數報告時,應力爭以清晰有效的方式將訊息傳達給接收對象。在多數情況下,除比較平均分數之外,還需要有其他更全面的分數報告,以幫助使用者更明智地使用和解釋測驗分數。

根據測驗目的和分數報告對象的情況,補充訊息可以包括標準誤差或其他關於分數變化幅度的常用測量指標,或每個分數分佈裡若干經過選擇的百分位數(percentile point)。

另一種可能的變通方式是,在建立基準分數之後,在報告各個群體或地區的分數的同時,報告獲得不同基準分數的受測者的比例。例如,這種基準分數可以根據若干經過選擇的百分位數來確定,而這些百分位數是建立在包括所有群體和所有地區的受測者總體的分佈上的。

其他一些概括分數分佈狀態的分數報告方式也很有用。在通報測驗分數的過程中,需要在力求詳細與力求簡明之間保持平衡。

標準15.10
應告知那些有正當理由瞭解某個評量的人測驗的目的,測驗如何施測和評分,測驗記錄會保留多久,以及對誰、在什麼條件下測驗記錄可以公佈。

說明:那些有正當理由的人可能包括受測者、他們的父母或監護人,或是會受到測驗結果影響的人:老師、計畫人員)。

標準15.11
當測驗結果對社會大眾或對決策人員公佈時,負責公佈的人要提供任何輔助材料,並解釋之,使人們對於結果的可能誤解降到最小。

說明:應該描述所做研究的環境條件和侷限性,特別是對有因果關係的研究方法,要著重描述。

2011年10月21日 星期五

測驗編製步驟(9)及其對應的教育與心理測驗標準

9. 設定切截(通過)分數

標準 4.19
當所要做的分數解釋涉及到一個或更多的切截分數時,用來建立這些切截分數的理論依據和程序要清楚地以書面說明。

說明:設定切截分數有時只是為了挑選一定數目的受測者(如填滿現有缺額),雖然這時應把主要注意力放在法律規定上,而不太需要詳細說明切截分數是怎樣設定的。
但在另外一些情形下,切截分數可能用來劃分受測者的類別(如診斷性分類,或及格/不及格),而它又沒有事先定好的比例。這時,設立切截分數的方法就必須清楚地說明。

最理想的狀況,是在設計測驗時就把切截分數在測驗使用及解釋中的地位考慮進去。分數量尺在切截分數附近區域有恰當的精確度是正確劃分受測者類別的先決條件。

如在設立切截分數時用到效標群體(criterion groups)的分數分佈資料,或分數相對於一個或多個效標變項(criterion variables)的資料時,應在技術文件裡綜述這些數據資料。

如果是使用專家共同判斷的方法來確定切截分數,那麼所使用的人數、資格、步驟等也要詳細記載。無論這些共同判斷是針對人員、試題或測驗表現、或測驗分數所預測的其他效標表現,這些判斷所要求的精確度都應呈現出來。

在文件中還應記載這些判斷者的挑選方法及資格、提供的研習、對他們的判斷意見的含義作出的反饋,以及判斷者之間任何交換意見的機會。若可以的話,各判斷結果之間的變異量也應加以報告。

假若設定切截分數的程序可以重做一遍時,應該提供預期的切截分數變異量的估計值。

標準 4.20
若受測者類別的解釋意義在實質上截然不同,這樣的切截分數的建立應該以穩固的實證資料為基礎,如測驗分數與有關效標的相關係數。

說明:在甄聘測驗中,儘管建立測驗分數和職位實作表現的關係很重要,測驗和效標之間的準確聯繫可能對切截分數的選擇沒有多大份量。然而,當不同的分數類別擁有完全不同的解釋時,測驗及其測量的效標之間的實證資料的關係則非同小可。用於解釋診斷性測驗的切截分數可能建立在實證確定的效標群體分數分佈的基礎上。

對於學業測驗或資格測驗(如執照測驗等),常常沒有現成可用且合適的效標群體(如成功或不成功的執業人員)然而,在合適和可行的情形下,最好還是要能夠瞭解在實務中測驗分數和工作表現的關係。

注意,一個完全根據對內容的相關性和試題難度判斷而設計和落實周全的程序可能優於一個用不恰當的準則測量方法或有某些其他的缺陷的實證研究。

在任何給定情況下,確定一種或數種方法合併使用的合適的切截分數設立方法都需要用到專業判斷。一般而言,人們不指望在緊臨切截分數以上或以下的效標變項的程度有明顯不同。但只要實際可行,應提供包括或靠近切截分數的分數域裡測驗和實際標準操作之關聯的證據。

標準 4.21
當界定及格與否或精熟類別的切截分數,是基於對試題、測驗表現、或表現水準的合適程度作直接判斷時,應將判斷過程設計成能夠合理運用判斷人員的知識與經驗。

說明:有時候切截分數的界定是基於試題或測驗分數(如作文)或表現水準的合適程度(如表現臨界線上受測者特性的程度),用於推導出這樣判斷的程序應該產生出合理並經得起考驗的標準,而且這些標準要能正確地反映判斷者的價值觀和意圖。

若要求判斷者所考慮的那種測驗表現是他們已經熟悉的,而且他們對於它的適當性或品質已經形成清楚的概念,那要達到這種判斷就可以很直截了當。

但是當這些測驗表現既不是源自工作樣本(sample),也不是對真正效標領域的知識或技能的逼真模擬(simulation)時,判斷者就不太可能有那麼清楚的理解來完成這判斷。

要有特別的安排,以確保判斷者在作所要求的判斷時,有一個堅實的基礎 。透過對於不同精熟類目的熟悉、在練習判斷工作的難易度時其準確性的反饋、實際做這一測驗的經驗、根據暫定標準會有多少比例會被評為不及格的迴饋,以及其他形式的訊息,都可以幫助判斷者達成重大且原則性的決定。

2011年10月16日 星期日

測驗編製步驟(8)及其對應的教育與心理測驗標準

8. 試題的計分


標準 3.6
題型、作答方式、評分程序、和施測步驟需要在測驗的目的、測量的內容範圍、和所針對的受測群體的基礎上進行選擇。在可能的範圍內,所選擇的測驗內容應該能保證對不同的受測者次群體的分數的推論都具有同等的效度。測驗的審查過程應該包括實證數據資料分析。
在恰當的時候,還應該邀請專家來審查試題內容和作答方式。這些專家的資格、相關經歷以及人口統計學上的特徵,也須要以書面說明。

說明:專家可能做的工作可能包括確認對參加測驗的次群體受測者可能不合適、不清楚或具有冒犯性的材料。例如,可能會請專家們確認,在數學文字題裡缺少上下文對於有些學生來說是否會造成問題。各種受測者次群體可以按年齡、種族、文化、性別、殘障類型、或人口統計學方面的地區分佈來劃分。但這種證據也是有限的,專家的審查可能會使施測中的不公平現象緩解一些。

標準 3.22
測驗編製者應該提供清晰且詳細的評分規程(rubrics)以及(若適當時)評分規準(criteria),以儘可能提高評分的精確度。
評定量尺(rating scales)的使用方式,不論它是經由編碼(coding)、量尺化(scaling)或是對自由反應答案作分類(classifying free responses)所獲得的分數,以及其衍生分數,都應該清楚地加以說明。如果測驗是委託當地人員評閱的話,這一點特別重要。

標準 3.23
測驗編製者應該將對於評分人員的篩選、訓練、資格認證的過程作成書面說明。
訓練資料,比如評分規程,和代表分數量尺上每一點(級別)的受測者答案的樣本,以及訓練評分人員的程序,都應該幫助他們評分結果達到某一程度的一致性,以致於對測驗分數的解釋上能夠符合測驗編製者的期望。
主持評分訓練者對於評分者間信度,以及評分者的評分標準可能飄移的現象,要加以評鑑,並作成書面說明。

標準 3.24
當評分是由地方評量機構負責,並且需要用到評分人員的專業判斷時,測驗使用單位要為評分人員提供合適的研習和說明,並負責檢查評分人員評分結果的一致性和正確性。
測驗編製者應該以書面說明評分人員在評分上的一致性和正確性應該達到什麼水準。

說明:測驗編製者的一個普遍做法是,當測驗是交由地方機構閱卷時,應該提供對方舉辦評分研習會所需要的材料(比如,評分規程rubrics、代表每一分數級別的樣品samples)和評分步驟。