AAHLS分析結果與討論紀錄

Ÿ   Purpose: to examine the construct validity of the All Aspects of Health Literacy Scale (AAHLS)

Ÿ   Measure: The AAHLS comprises 13 items covering 3 subdomains: functional HL, communicative HL, and critical HL.

Ÿ   Data: 病人與家屬的data合併分析 (n=139)所得結果較僅分析病人的data (n=107)好，故以下呈現病人與家屬的data分析結果

Ÿ   Data analysis and critical values:

1.         CFA: χ²/df=2, RMSEA=0.06, CFI=0.95, SRMR=0.08

2.        Rasch (PCM) analysis: infit and outfit MNSQ = 0.6-1.4

3.        Mokken scaling: Hi ≥ 0.3, scale H ≥ 0.5

method	unidimension	three dimension
CFA	Ÿ initial model: χ2=221.28 df=65 χ2/df=3.40 RMSEA=0.13 CFI=0.73 SRMR=0.09 ※ Poor model fit! Ÿ 刪除factor loading <0.5的5題（第1-3、11、13題）： χ2=121.64 df=20 χ2/df=6.08 RMSEA=0.19 CFI=0.80 SRMR=0.08 ※ Poorer model fit!	Ÿ initial model: χ2=117.24 df=62 χ2/df=1.89 RMSEA=0.08 CFI=0.90 SRMR=0.07 ※ Problems：第1題的error variance為負值，不合理，代表model有問題；若刪除第1題，換第2題的error variance為負值，然若同時刪除第1、2題，functional HL subdomain僅剩一題，無法以CFA分析 (model unidentified)。故刪除functional HL subdomain重新分析 Ÿ functional HL subdomain deleted: χ2=70.20 df=34 χ2/df=2.06 RMSEA=0.09 CFI=0.93 SRMR=0.06 ※ RMSEA value was quite large, indicating inadequate fit, although the values of the other indices were acceptable. Ÿ 刪除factor loading <0.5的2題（第11、13題）： χ2=58.65 df=19 χ2/df=3.09 RMSEA=0.12 CFI=0.92 SRMR=0.06 ※ poorer model fit!
Rasch	5 misfit items were deleted (items 1-3, 11, 13): PCA 85.5% Rasch reliability=0.77	3 misfit items were deleted (items 10, 11, 13): Rasch reliability: functional HL=0.45 communicative HL=0.80 critical HL=0.82
Mokken	刪除5題Hi < 0.3的題目(items 1-3, 11, 13): scale H=0.55 Reliability RHO= 0.89

後續論文撰寫計畫：分析結果不佳，若寫成論文，文章難以凸顯重點，發表機會不高。此外，樣本數不夠大，無法有力拒絕此工具之建構效度不佳。故資料暫擱置，留待日後發展測驗時之參考。

回覆response letter之歷練

此次"individual-level responsiveness"稿件的 response letter 時，reviewer問到以下兩個較艱澀的問題，且我們並無法從既有的"individual-level responsiveness"文獻中找到答案...

1. 我們參考Hobart文獻計算SC，作為individual-level indices。原計算公式為前後測Rasch分數之差異除以每個人前後測的SE，而前後測的SE為SE_diff = √[(SE _{discharge location})² + (SE _{admission location})²]。然而reviewer認為前後測為paired data，計算SEdiff 應扣除前後測分數的共變。

一開始看到reviewer的建議時，也認為他說的有道理，照做即可。沒想到重新計算後才發現問題：(1)共變為group-level的數據，我們無法取得每個人前後測分數的共變；(2)因為SE很小，共變數相對大很多，所以根號內數值會是負值。也就是說，扣除前後測分數的共變可能不合理。但我必須找出證據反駁，因此我回歸到SE的基礎概念去思考如何計算才是合理的。這讓我想到其實SEdiff 的概念很像MDC (minial detectable change)、SRD (smallest real di€erence)或RCI (reliable change index)，而上述三者計算公式中僅考量 √2 *SEM，或許找出原始文獻關於這些公式推導的理由，我就可以回答reviewer的問題了。因此最終我是以信度的概念來解釋individual-level responsiveness的指標：個案能力(True score)不變為驗證信度之基礎假設，故前後測觀察分數的變異皆僅由測量誤差造成。而測量誤差為獨立的隨機變項，共變為0。因此在計算SEdiff 時，我們不需要考量前後測分數的共變。SE_diff公式推導如下： 

Admission location=True score + measurement error _admission        (formula 1)

Discharge location=True score + measurement error _discharge        (formula 2)

(SE_diff)² = Variance (Discharge location- Admission location)
= Variance (True score + measurement error _discharge -True score + measurement error _admission)
= Variance (measurement error _discharge) + Variance (measurement error _admission) - 2Covariance (measurement error _discharge, measurement error _admission)
= (SE _{discharge location})² + (SE _{admission location})² – 0
= (SE _{discharge location})² + (SE _{admission location})²        (formula 3)

SE_diff = √[(SE _{discharge location})² + (SE _{admission location})²]      (formula 4)

2. reviewer建議我們補充group-level和individual-level的external responsiveness。

關於這題的回覆方式我們掙扎了很久，由於是使用過去已發表文章之資料，該文章已清楚交代使用的工具除了STREAM外，還有BI，所以我們不能耍賴假裝我們沒評，勢必需要補充相關資訊。然而困難之處在於individual-level的external responsiveness定義我們還摸不清，要如何應用group-level external responsiveness的概念到individual-level，又能凸顯STREAM-27於individual-level external responsiveness之優勢？過程中我們嘗試了多種可能的分析方式，包括：

(1) paired t檢定STREAM-15和STREAM-27兩工具偵測出有顯著進步者之平均BI改變量是否有差異。但由於STREAM-27較敏感，所以可能求得BI平均改變量反而較STREAM-15少，我們難以說服讀者STREAM-27反應性較好，因為BI改變量較少，與一般邏輯不符。

(2)沿用group-level之計算方式，檢驗兩工具SC和BI change scores間的關係，然而此分析方式是group-level的分析方式，且結果無法凸顯STREAM-27於individual-level external responsiveness之優勢（因為BI計分較粗略，故反而與STREAM-15之相關較高）。

(3)以individual-level之分析方式，將STREAM變化量與BI變化量各分為三組，計算STREAM各組（顯著進步、不顯著進步、無變化或退步）與BI各組（進步≥MCID、進步<MCID、無變化或退步）之人數。但問題是要採用什麼指標較合適？若看分組一致性（如：STREAM為顯著進步，BI亦為進步≥MCID），那結果如同相關分析結果STREAM-15之一致性較佳（因為STREAM-15和BI都較粗略）。若引用external responsiveness最原始的定義，去分析STREAM偵測出有顯著進步者中，BI也有顯著進步的比例。則結果亦無法凸顯STREAM-27之優勢，因為STREAM-27較敏感，可偵測出較多人有顯著進步（分母較大，比例較小）。最終我們選用計算所有樣本中，STREAM有顯著進步，且BI 進步程度超過MCID之人數與比例，作為驗證individual-level external responsiveness的指標。

感謝過程中，老師、林恭宏和業太多次不厭其煩地聽我說明我的想法之合理性，並給我許多具體的建議 ❣❣❣