2014年9月18日 星期四

CAT-HEALER題庫主要問題與討論紀錄

第一回合的認知訪談,除了發現我寫的題目不夠淺顯外,亦發現以下幾項主要可能影響題庫設計或測驗概念之問題:

1. 不同衛教管道所需的健康識能程度不同,是否需要依據衛教管道增加題目?
我的想法:如此可更純化題目的概念,亦可獲得更多元的訊息。但題目量將放大2倍,由120題增加為360題,大幅降低可行性。
討論結果:SK主題與衛教管到兩變項中,我們較在意前者,衛教管道則非重點,顧不需增加題目,將題目所列三管道整合為較籠統的名詞敘述即可。

2. 應用衛教資訊可能包含兩種概念:「知道如何應用(將知識轉化為行為)」與「執行能力(將動機轉化為行為)」,是否應將題目拆為兩題?
我的想法:題目設計為自覺困難程度,作答依據本來就會受到病人/家屬能力與環境的因素影響。但又覺得若是病人/家屬知道如何應用,只是受限於環境,是否可能低估其健康識能程度。
討論結果:題目情境設定清楚,確認字義上僅問到單一概念即可。我們無需也無法探究答題背後的原因。

3. 同一SK主題之取得、瞭解、評價與應用等題目的作答反應會互相影響,且題目過於相似。建議以題組方式呈現題目。
我的想法:由於IRT具local independence之假設,若以題組方式呈現是否會違背IRT假設?
討論結果:教育領域常使用題組方式出題,可自行瞭解Test Response Theory之概念。不需將題目修改為題組,屆時設計CAT再設定選題規則即可。

4. 自覺困難之標準難以拿捏,是否須設定標準?
討論結果:題目為「自覺」困難程度,故應由每位受訪者依自己的標準作答。

5. 題目情境設定不夠明確,例如:主動取得或被動取得?時間(中風前或後、住院或出院)?地點(醫院或社區)?
我的想法:將於指導語中明確設定情境為:中風後、當下時間點(避免受記憶影響)、地點不限(醫院和社區的衛教資源多寡差很多,但地點不是我想探討的重要變項)
老師建議:病人/家屬有此疑問代表不同中風階段健康識能的難易程度差別大,若整體綜合評分,只能得到平均的答案,可能得不到極端的結果,如此則失去極端選項存在的價值。

6. 復健照護與物理治療、職能治療、語言治療等SK主題相似。在實務上,復健照護包括後三者。是否會造成題目重複的問題?
我的想法:我們預計將CAT-HEALER發展為三個dimensions(醫療照護、失能復健、健康促進)的題庫。復健照護屬醫療照護層面;物理治療、職能治療、語言治療屬失能復健層面。
討論結果:可能相似,但不至於完全重複,確認字義有所區隔即可。

7. 題意說明之用法與原先設計不同,受試者多將題意說明視為衛教資料或標準答案,是否須將其刪除 ?
討論結果:受試者仍須瞭解各SK主題包含的知識範疇,以避免亂答,或答案與真實情況有出入。在指導語中明確指出題意說明的用途,並將說明調到每組題目之前。

8. 選項分太細不易填答,建議由5點量尺刪減為3點量尺。
討論結果:先保留5點量尺以獲得較多元的訊息,選項計分方式可於資料分析時再處理。

9. 沒經驗者勾選「不知道」的頻率低,且此項可能會與「非常困難」難區隔,部分病人不知道如何取得衛教資訊而勾選「不知道」(理論上應勾選「非常困難」)。是否刪除「不知道」?
討論結果:先保留,以避免沒經驗者亂答。計為missing data。

沒有留言:

張貼留言