2015年10月2日 星期五

對照Raw score & Rasch score之分析方法

以Rasch驗證評估工具之優勢之一,即為將raw scores (ordinal scale)轉換為Rasch scores (ordinal scale),以提升後續分數運算與應用之價值。

一般常用的分析方法有二:
1. 以ConQuest匯出 raw scores和Rasch scores之對照表。
此方法最單純,但問題在於ConQuest僅能提供MLE或WLE(最大概似估計法)的分數對照表,但結果輸出之Rasch reliability與person-item map數值卻是以EAP (expected a posteriori)估計而得的能力估計值。MLE與EAP之估計值因為估計方法不同,同樣的個案會有不同的能力值,尤其是極端能力的個案,能力估計值落差大。

2. 以ConQuest匯出所有個案的EAP能力估計值,再以Excel比對每位個案的raw scores和EAP值,最後再依據raw scores排序,手動挑出每個raw score分數點對應的EAP值。
然而,當raw scores之資料點有缺漏時,如總分為0-10分,但沒有個案得0分,此時則無法產生完整的分數對照表。


在上述二方法接碰壁時,則需要產生一筆模擬資料作分析。模擬分析方法有二:
1. 用Matlab撰寫EAP演算的程式語言,並以其估計模擬資料各樣本的EAP能力估計值。
此方法會遇到的問題包括:ConQuest之EAP算則有自行調整過,並非完全等於教科書上的算則。且無法確定ConQuest估計時使用的參數(手冊上未說明),包括:切分點 (nodes)
範圍,以及likelihood function應依據平均數與標準差為何的分配產生。因此,即便都是使用EAP估計法,以Matlab估計所獲得估計值會與ConQuest所獲得之估計值不同。
 
2. 用Conquest作兩步驟分析,將模擬分析的題目難度參數與共變矩陣固定為原始資料之數值後,匯出所有模擬個案的EAP能力估計值。
此方法最單純,且也是最建議的解決方法(參考業太的建議)。

註:模擬資料僅需留意資料須涵蓋各題每個分數點,以及所有總分分數點即可,不需要依據原始個案能力的分配產生。因為單向度、單參數的Rasch mocel之下,raw score總分可一對一對應Rasch score,不受作答反應影響。即若兩人原始總分相同,無論答對簡單題目較多或答對困難題目較多,所得的Rasch score相同。