2014年12月21日 星期日

回覆response letter之歷練

此次"individual-level responsiveness"稿件的 response letter 時,reviewer問到以下兩個較艱澀的問題,且我們並無法從既有的"individual-level responsiveness"文獻中找到答案...

1. 我們參考Hobart文獻計算SC,作為individual-level indices。原計算公式為前後測Rasch分數之差異除以每個人前後測的SE,而前後測的SE為SEdiff = [(SE discharge location)2 + (SE admission location)2]。然而reviewer認為前後測為paired data,計算SEdiff 應扣除前後測分數的共變。
一開始看到reviewer的建議時,也認為他說的有道理,照做即可。沒想到重新計算後才發現問題:(1)共變為group-level的數據,我們無法取得每個人前後測分數的共變;(2)因為SE很小,共變數相對大很多,所以根號內數值會是負值。也就是說,扣除前後測分數的共變可能不合理。但我必須找出證據反駁,因此我回歸到SE的基礎概念去思考如何計算才是合理的。這讓我想到其實SEdiff 的概念很像MDC (minial detectable change)、SRD (smallest real di€erence)或RCI (reliable change index),而上述三者計算公式中僅考量 √2 *SEM,或許找出原始文獻關於這些公式推導的理由,我就可以回答reviewer的問題了。因此最終我是以信度的概念來解釋individual-level responsiveness的指標:個案能力(True score)不變為驗證信度之基礎假設,故前後測觀察分數的變異皆僅由測量誤差造成。而測量誤差為獨立的隨機變項,共變為0。因此在計算SEdiff 時,我們不需要考量前後測分數的共變。SEdiff公式推導如下: 
Admission location=True score + measurement error admission        (formula 1)
Discharge location=True score + measurement error discharge        (formula 2)
(SEdiff)2 = Variance (Discharge location- Admission location)
= Variance (True score + measurement error discharge -True score + measurement error admission)
= Variance (measurement error discharge) + Variance (measurement error admission) - 2Covariance (measurement error discharge, measurement error admission)
= (SE discharge location)2 + (SE admission location)2 
0
= (SE discharge location)2 + (SE admission location)2        (formula 3)
SEdiff = [(SE discharge location)2 + (SE admission location)2]      (formula 4)

2. reviewer建議我們補充group-levelindividual-levelexternal responsiveness
關於這題的回覆方式我們掙扎了很久,由於是使用過去已發表文章之資料,該文章已清楚交代使用的工具除了STREAM外,還有BI,所以我們不能耍賴假裝我們沒評,勢必需要補充相關資訊。然而困難之處在於individual-levelexternal responsiveness定義我們還摸不清,要如何應用group-level external responsiveness的概念到individual-level,又能凸顯STREAM-27individual-level external responsiveness之優勢?過程中我們嘗試了多種可能的分析方式,包括:
(1) paired t檢定STREAM-15STREAM-27兩工具偵測出有顯著進步者之平均BI改變量是否有差異。但由於STREAM-27較敏感,所以可能求得BI平均改變量反而較STREAM-15少,我們難以說服讀者STREAM-27反應性較好,因為BI改變量較少,與一般邏輯不符。
(2)沿用group-level之計算方式,檢驗兩工具SCBI change scores間的關係,然而此分析方式是group-level的分析方式,且結果無法凸顯STREAM-27individual-level external responsiveness之優勢(因為BI計分較粗略,故反而與STREAM-15之相關較高)。
(3)individual-level之分析方式,將STREAM變化量與BI變化量各分為三組,計算STREAM各組(顯著進步、不顯著進步、無變化或退步)與BI各組(進步MCID、進步<MCID、無變化或退步)之人數。但問題是要採用什麼指標較合適?若看分組一致性(如:STREAM為顯著進步,BI亦為進步MCID),那結果如同相關分析結果STREAM-15之一致性較佳(因為STREAM-15BI都較粗略)。若引用external responsiveness最原始的定義,去分析STREAM偵測出有顯著進步者中,BI也有顯著進步的比例。則結果亦無法凸顯STREAM-27之優勢,因為STREAM-27較敏感,可偵測出較多人有顯著進步(分母較大,比例較小)。最終我們選用計算所有樣本中,STREAM有顯著進步,且BI 進步程度超過MCID之人數與比例,作為驗證individual-level external responsiveness的指標。

感謝過程中,老師、林恭宏和業太多次不厭其煩地聽我說明我的想法之合理性,並給我許多具體的建議 ❣❣❣

1 則留言:

  1. 我們已經跑到相關研究的【前沿】,沒人到過的地方。
    有點孤單,除了團隊就沒有依靠,但這卻是我們【宣告領地】的必經歷程!!

    另外,我看你的寫作效能亦有成長,可否補充分享寫作的【成長歷練】。

    回覆刪除