Testlet Response Theory & Testlet-Based CAT

為解決建構CAT-HEALER可能遇到的題組問題，日前鑽研了一下題組反應理論之概念與CAT之應用方法，重點紀錄如下：

局部獨立性 (local Independence)為IRT之前提假設之一。局部獨立性可分為兩部分：局部試題獨立性 (local item independence, LII)與局部受試者獨立性 (local person independence, LPI)。LII是指當受試者能力已知時，該受試者在某試題上的作答反應與其它題無關。LPI則為當試題難度已知時，不同能力的受試者在該試題上的作答反應間相互獨立。二者皆須滿足才算符合局部獨立性的假設。

然而在教育測驗中，經常出現多道試題共用相同情境的情況，例如：閱讀測驗，由一篇文章衍生多道試題，此些試題的作答反應必有高度的相關性，產生題組效應 (testlet effect)，違反局部獨立性之假設。此時，Testlet Response Theory (TRT)為可行的分析方法之一。
題組效應是指受試者的作答反應除了受試者能力影響以外，亦受到題組的潛在因素影響。

TRT與IRT同，具有一參數、二參數與三參數模型。不同點為：TRT將題組效應 (γ)放入模型估計，將題組效應γ與被試能力θ 分別估計，即θ與γ獨立。 

以Rasch Testlet Model為例：

Testlet-Based Computerized Adaptive Testing (TBCAT)

第一階段先選取最大訊息量的題組，第二階段則由該題組的所有試題中選則訊息量最大的試題，受試者提供作答反應後，電腦進行能力估算，再依據受試者的能力提供最大訊息量的下一題（同一題組）。若達預設標準，例如：同一題組只選2題（共10題），則換下一題組。

TBCAT之選題方式介於Computerized Multistage Testing (CMT)與Item-Based Computerized Adaptive Testing (IBCAT)之間。TBCAT屬於多階段選題 (CMT)。以試題為單位選題，作答完一試題後即進行能力估算，故無法返回重填 (IBCAT)。每位受試者作答的題目亦不盡相同 (IBCAT)，即便能力相仿者，可能作答難度相仿的不同題組，或同一題中難度相近的不同，以避免試題曝光度太高。（即題組與試題皆為適性選題）

p.s. CMT為多階段選題，以題組為單位選題，同一題組所包含的題目固定。受試者完成一題組後電腦再依據該題組的作答結果進行能力估算，再挑選下一題組。能力相仿者，可能作答難度相近的不同題組，但若作答相同題組，每位受試者之作答題目皆相同（題組內有10題，則大家都作答這10題）。


TRT之應用實例
1. Wang X, Baldwin S, Wainer H, Bradlow ET, Reeve BB, Smith AW, et al. Using testlet response theory to analyze data from a survey of attitude change among breast cancer survivors. Stat Med. 2010;29:2028-2044  （醫學領域的文章，目前僅找到這一篇）
2. Eckes T. Examining testlet effects in the testdaf listening section: A testlet response theory modeling approach. Language Testing. 2013