2014年9月18日 星期四

CAT-HEALER題庫主要問題與討論紀錄

第一回合的認知訪談,除了發現我寫的題目不夠淺顯外,亦發現以下幾項主要可能影響題庫設計或測驗概念之問題:

1. 不同衛教管道所需的健康識能程度不同,是否需要依據衛教管道增加題目?
我的想法:如此可更純化題目的概念,亦可獲得更多元的訊息。但題目量將放大2倍,由120題增加為360題,大幅降低可行性。
討論結果:SK主題與衛教管到兩變項中,我們較在意前者,衛教管道則非重點,顧不需增加題目,將題目所列三管道整合為較籠統的名詞敘述即可。

2. 應用衛教資訊可能包含兩種概念:「知道如何應用(將知識轉化為行為)」與「執行能力(將動機轉化為行為)」,是否應將題目拆為兩題?
我的想法:題目設計為自覺困難程度,作答依據本來就會受到病人/家屬能力與環境的因素影響。但又覺得若是病人/家屬知道如何應用,只是受限於環境,是否可能低估其健康識能程度。
討論結果:題目情境設定清楚,確認字義上僅問到單一概念即可。我們無需也無法探究答題背後的原因。

3. 同一SK主題之取得、瞭解、評價與應用等題目的作答反應會互相影響,且題目過於相似。建議以題組方式呈現題目。
我的想法:由於IRT具local independence之假設,若以題組方式呈現是否會違背IRT假設?
討論結果:教育領域常使用題組方式出題,可自行瞭解Test Response Theory之概念。不需將題目修改為題組,屆時設計CAT再設定選題規則即可。

4. 自覺困難之標準難以拿捏,是否須設定標準?
討論結果:題目為「自覺」困難程度,故應由每位受訪者依自己的標準作答。

5. 題目情境設定不夠明確,例如:主動取得或被動取得?時間(中風前或後、住院或出院)?地點(醫院或社區)?
我的想法:將於指導語中明確設定情境為:中風後、當下時間點(避免受記憶影響)、地點不限(醫院和社區的衛教資源多寡差很多,但地點不是我想探討的重要變項)
老師建議:病人/家屬有此疑問代表不同中風階段健康識能的難易程度差別大,若整體綜合評分,只能得到平均的答案,可能得不到極端的結果,如此則失去極端選項存在的價值。

6. 復健照護與物理治療、職能治療、語言治療等SK主題相似。在實務上,復健照護包括後三者。是否會造成題目重複的問題?
我的想法:我們預計將CAT-HEALER發展為三個dimensions(醫療照護、失能復健、健康促進)的題庫。復健照護屬醫療照護層面;物理治療、職能治療、語言治療屬失能復健層面。
討論結果:可能相似,但不至於完全重複,確認字義有所區隔即可。

7. 題意說明之用法與原先設計不同,受試者多將題意說明視為衛教資料或標準答案,是否須將其刪除 ?
討論結果:受試者仍須瞭解各SK主題包含的知識範疇,以避免亂答,或答案與真實情況有出入。在指導語中明確指出題意說明的用途,並將說明調到每組題目之前。

8. 選項分太細不易填答,建議由5點量尺刪減為3點量尺。
討論結果:先保留5點量尺以獲得較多元的訊息,選項計分方式可於資料分析時再處理。

9. 沒經驗者勾選「不知道」的頻率低,且此項可能會與「非常困難」難區隔,部分病人不知道如何取得衛教資訊而勾選「不知道」(理論上應勾選「非常困難」)。是否刪除「不知道」?
討論結果:先保留,以避免沒經驗者亂答。計為missing data。

2014年9月7日 星期日

IRT分析_WHOQOL

WHOQOL28題,分四層面:生理、心理、社會與環境。第問卷前2題不屬於任何domain,故未納入驗證。每題皆為5點記分 (1-5)

驗證模型:4-dimensional Partial Credit Model (4D-PCM)
模型選擇原因:
1. 每一層面之題數少,若以四個PCM分別驗證四層面,估計參數之信度可能不佳。故以multidimensional model檢驗,利用層面間的相關性提供更多訊息量,進而提升估計的信度。
2. 雖每題皆為5點記分,但每一層面中各題記分標準不盡相同,例如:生理層面,題目計分方式包括滿意程度、需求程度、限制程度、數量等。故選擇以PCM分析。

分析結果如下:
1.           Item fit (0.6≤Infit MNSQ≤1.4)
最不fit的題目:Item 2(靠醫療應付日常生活)之 Infit MNSQ = 1.42
刪除item 2重新驗證後,僅item 1(身體疼痛妨礙處理事情)不fit (Infit MNSQ =1.48)
再刪除item 1後,重新驗證結果顯示剩餘的24題,Infit MNSQ都界於0.6-1.4之間。
改為fix每一層面的倒數第二題,自由估計最後一題的題目參數重新驗證後,結果顯示24題的Infit MNSQ仍都界於0.6-1.4之間。
2.          Disordering
item 11, 17, 18, 20, 21選項難度皆有disordering現象。
檢視data中此5題之選項分佈,發現得12分者人數較少。得3分者人數最多,其它題的得分分佈亦符合此趨勢,故決定合併整份問卷的選項一與選項二。計分類別由1-5減少為1-4
重新驗證合併選項後之資料,發現24題皆符合item fit標準,且無disordering
fix樣本平均能力,自由估計所有題目參數,結果亦同。
3.          Differential item functioning
參考model paper,檢驗不同性別、年齡與教育程度組別間,相同生活品質者,在WHOQOL各題之得分是否相同。此外,我加入了中風嚴重程度指標,因為我認為這是影響中風患者生活品質之關鍵。結果顯示:相同生活品質者,因不同中風嚴重程度而在半數WHOQOL題目中得分不同。

Table 1. infit MNSQ statistics and maximum differences in the estimates for item difficulties (in absolute value) over gender, age, education and severity level (n=263, i=24)
Dimension/Item
Infit MNSQ
Sex
Age
Education
Severity
Physical




10
足夠精力
1.06
0.31
0.17
0.24
0.27
15
四處行動能力
0.95
0.03
0.37
0.30
0.63*
16
睡眠狀況滿意度
1.32
0.27
0.18
0.15
0.22
17
從事日常活動能力滿意度
0.83
0.05
0.11
0.23
0.89*
18
工作能力滿意度
0.86
0.03
0.02
0.15
0.79*
Psychological




5
享受生活
1.03
0.08
0.10
0.22
0.63*
6
生命有意義
1.13
0.11
0.00
0.31
0.40
7
集中精神能力
0.91
0.22
0.04
0.21
0.27
11
接受外表
1.08
0.01
0.02
0.22
0.96*
19
對自己滿意度
0.84
0.04
0.11
0.21
0.94*
26
常有負面感受
1.31
0.24
0.13
0.32
0.97*
Social




20
人際關係滿意度
0.93
0.11
0.02
0.23
1.20*
21
性生活滿意度
0.99
0.07
0.06
0.06
0.07
22
朋友支持滿意度
1.14
0.01
0.07
0.17
1.48*
27
有面子或被尊重
1.08
0.13
0.07
0.30
0.69*
Environmental




8
安全感
0.95
0.11
0.14
0.25
0.41
9
健康環境
1.07
0.03
0.09
0.17
0.32
12
足夠金錢
0.88
0.14
0.12
0.26
0.61*
13
方便得到生活資訊
0.87
0.17
0.05
0.09
0.31
14
有機會從事休閒活動
1.05
0.06
0.09
0.29
0.49
23
住所狀況滿意度
0.97
0.11
0.15
0.18
0.25
24
醫療保健服方便程度滿意度
0.97
0.08
0.03
0.19
0.21
25
交通運輸滿意度
0.86
0.12
0.11
0.21
0.62*
28
能吃到想吃的食物
1.32
0.11
0.25
0.60*
0.08
Note: *Substantial DIF (a difference in item difficulties larger than or equal to 0.5 logits between groups); Sex: 1=Men, 2=Women; Age: 1=21-59, 2=Over 60; Education: 1=Illiteracy and Elementary, 2=Junior high, 3=Senior high, 4=Equal to or higher than College; Severity: 1=minor (NIHSS3), 2=mild (4≤NIHSS≤6), 3=moderate (7≤NIHSS≤15), 4=severe (NIHSS16).

Table 2. Measures for the item difficulties and category boundary parameters, and Rasch reliabilities (n=263, i=24)
Dimension/Item
Difficulty
Step 1
Step 2
Step 3
Reliability
Physical
0.86
10
足夠精力
0.68 (0.09)
-1.75
0.09
1.66
15
四處行動能力
0.84 (0.09)
-1.11
-0.05
1.16
16
睡眠狀況滿意度
0.97 (0.09)
-1.37
-0.74
2.11
17
從事日常活動能力滿意度
0.73 (0.09)
-1.66
-0.23
1.89
18
工作能力滿意度
0.88 (0.09)
-1.34
-0.34
1.68
Psychological
0.86
5
享受生活
1.27 (0.09)
-1.14
-0.21
1.34
6
生命有意義
0.51 (0.08)
-1.08
-0.39
1.47
7
集中精神能力
0.64 (0.09)
-1.92
0.09
1.83
11
接受外表
0.15 (0.09)
-1.56
0.19
1.37
19
對自己滿意度
0.61 (0.09)
-1.35
-0.42
1.77
26
常有負面感受
-0.08 (0.08)
-1.08
0.25
0.83
Social
0.85
20
人際關係滿意度
0.42 (0.09)
-1.94
-0.29
2.23
21
性生活滿意度
0.94 (0.10)
-2.33
0.05
2.28
22
朋友支持滿意度
0.11 (0.09)
-1.69
-0.87
2.55
27
有面子或被尊重
0.44 (0.09)
-1.93
-0.25
2.18
Environmental
0.93
8
安全感
0.27 (0.08)
-1.22
-0.45
1.67
9
健康環境
0.22 (0.09)
-1.79
-0.40
2.18
12
足夠金錢
0.57 (0.09)
-1.55
0.35
1.21
13
方便得到生活資訊
0.28 (0.08)
-1.41
-0.15
1.56
14
有機會從事休閒活動
0.89 (0.08)
-0.72
-0.46
1.17
23
住所狀況滿意度
-0.29 (0.09)
-1.95
-0.34
2.28
24
醫療保健服方便程度滿意度
-0.42 (0.10)
-1.98
-0.45
2.43
25
交通運輸滿意度
-0.25 (0.10)
-1.89
-0.60
2.49
28
能吃到想吃的食物
-0.53 (0.08)
-0.68
-0.44
1.12

Table 3. Variances, covariances, and correlations for the four dimensions (n=263)
Dimension
Physical
Psychological
Social
Environmental
Physical
1.72
1.42
1.42
1.11
Psychological
0.91
1.43
1.31
1.06
Social
0.85
0.86
1.63
1.17
Environmental
0.83
0.87
0.89
1.05
Note: Values in the lower triangles (italics) and higher triangles are the correlations and covariances, respectively.


4.          Wright map


(communication與social participation之題庫分析結果待補