趙 穎,劉 健
(天津中醫藥大學第一附屬醫院針灸科,天津 300193)
中國老年醫學系統評價/Meta分析的方法學與報告質量評價*
趙 穎,劉 健
(天津中醫藥大學第一附屬醫院針灸科,天津 300193)
[目的]評估中國老年醫學領域系統評價或者Meta分析的方法學與報告質量,為規范中國老年醫學領域同類循證研究提供根據與借鑒。[方法]由兩位研究者獨立檢索中國知網(CNKI)、維普中文期刊數據庫(VIP)、萬方數據庫(WanFang)和中國生物醫學文獻數據庫(CBM)數據庫自建庫至2016年5月所發表的中國老年醫學系統評價或者Meta分析文獻,利用AMSTAR量表和PRISMA量表對最終納入文獻進行評價。[結果]納入的193篇文獻中,65篇為系統評價,128篇為Meta分析。方法學與報告質量的問題主要表現為檢索不全面,偏倚風險評估未得到相應重視,研究中的資助來源未詳細說明等。[結論]中國老年醫學系統評價或者Meta分析的文獻數量較多,但質量還有待提高。建議老年醫學研究者能夠提升循證研究能力,嚴格遵照規范報告格式撰寫文獻。
老年;系統評價;Meta分析;質量評價
系統評價或Meta分析作為一種綜合研究的方法已經引起越來越多科研工作者和臨床醫務人員的關注[1],并且迅速被政策制定者、衛生保健人員、患者及家屬認可和使用,一度將其視為最高級別證據[2]。高質量的系統評價或Meta分析能夠為臨床醫生提供有效的參考[3],但是,低質量的系統評價或Meta分析則會直接影響研究結果的價值,誤導證據使用者的決策[4],因此,對系統評價或Meta分析進行方法學與報告質量的評價是十分必要的。
老年醫學(Geriatrics)是研究人體老年性變化、老年疾病的防治、人類的衰老機制以及老年衛生與保健的科學,是關系到老年人臨床治療、預防和社會等各個方面的一門新興、綜合性學科[5]。老年醫學研究的對象一般指60歲及以上的人群。老年醫學研究范圍很廣,包括老年基礎醫學、老年臨床醫學、老年預防醫學、老年流行病學及老年社會醫學等[6]。
本研究不同于選取中國主要老年醫學期刊所發表的Meta分析文獻作為研究對象[7],而將范圍定義為中國老年醫學領域的所有系統評價或者Meta分析,旨在評價其方法學與報告質量,以了解中國老年醫學領域同類循證研究的現狀,為規范其研究過程與報告方法提供根據與借鑒。
1.1 納入和排除標準 納入標準:國內老年醫學領域已發表的系統評價/Meta分析。排除標準:1)重復發表的文獻;2)國外系統評價/Meta分析譯文;3)國內外系統評價/Meta分析摘要;4)系統評價/Meta分析計劃書;5)動物研究;6)系統評價/Meta分析方法學或報告質量評價。
1.2 文獻檢索方法 由兩名研究者以“老年、老齡”為主題或關鍵詞,以“系統評價、Meta分析、匯總分析、薈萃分析”為主題或自由詞,計算機檢索中國知網(CNKI)、維普中文期刊數據庫(VIP)、萬方數據庫(WanFang)和中國生物醫學文獻數據庫(CBM),全面收集建庫至2016年5月國內發表的老年醫學系統評價/Meta分析文獻。
1.3 文獻篩選 由兩名研究者按照預先制定的納入和排除標準獨立篩選文獻后進行交叉核對,此過程如遇經商討意見不一致之處,則提交第三方決定。由兩名研究者通過閱讀初篩文獻的題目、摘要及全文,篩選出明確屬于老年醫學研究范圍(見上文)的系統評價/Meta分析文獻,排除不符合納入標準的文獻,并且對于重復發表的文獻,僅納入公開發表并經同行審議的文獻。由兩名研究者最終復核納入文獻,確定后方可進入資料提取階段。
1.4 資料提取 采用Excel 2007軟件建立“中國老年醫學系統評價/Meta分析的方法學與報告質量評價”資料摘錄表格,內容包含納入研究名稱、發表時間、文獻類型、作者數量、作者單位數量及性質、基金資助、納入研究設計類型、是否整合之前相關的系統評價或Meta分析、質量評價標準。
采用AMSTAR評價量表[8]對納入研究的方法質量進行評價,該量表包括11個條目。根據文獻對各個條目的報告符合程度進行評價,分別為“是”,“否”,“不能回答或不適用”。采用PRISMA評價量表[9]對納入研究的報告質量進行評價,該量表包括7個方面,總共27個條目。根據文獻對各個條目的報告符合程度進行評價,分別為“充分”,“部分符合”,“不符合”。納入文獻如完全符合CONSORT小組制定的QUOROM(The quality of reporting of Metaanalyses)條目內容評價為“充分”,只符合條目中的部分內容評價為“部分符合”,完全不符合或在文獻中未提及的條目內容評價為“不符合”。由兩名研究者進行AMSTAR和PRISMA量表評價,如遇分歧,由第三方仲裁。
1.5 統計分析 采用Excel 2007軟件錄入納入文獻的基本信息,統計分析AMSTAR和PRISMA量表每條項目的報告百分比。
2.1 文獻檢索結果 初檢得到5 683條記錄,按照預先制定的納入和排除標準篩選出1 539篇文獻,通過閱讀初篩文獻的題目、摘要及全文,排除不符合納入標準的文獻,最終納入193篇老年醫學系統評價或Meta分析的相關文獻。
2.2 納入文獻的基本情況 193篇老年醫學系統評價或Meta分析文獻中,由表1可知,包括65篇系統評價和128篇Meta分析(通過題目確證)。54篇文獻由1位作者單獨完成,128篇文獻由2至6位作者合作完成,11篇文獻由7至10位作者合作完成。作者單位性質所占比例最高為醫院(46.6%),其次為大學(32.1%),醫院、大學相結合則較少(21.2%)。作者單位為1所較多見,所占比例為70.5%,19.7%為2所單位,只有9.8%為3所及3所以上單位。在基金資助方面,僅有32篇文獻擁有資金支持,大多數處于無資金支持狀態。所有納入研究中,整合之前相關的系統評價或Meta分析的文獻極少,僅有12篇,181篇文獻不存在相關文獻或沒有查找已存在的相關文獻。
納入的193篇老年醫學系統評價或Meta分析文獻中,其納入研究設計類型有106篇文獻為隨機對照試驗,23篇文獻為隨機或半隨機對照試驗,20篇文獻為病例對照研究,10篇文獻為隨機或非隨機對照試驗,11篇文獻為調查性研究,1篇文獻為隊列研究,22篇文獻為多種納入研究設計類型?,F今已被認可的質量評價標準有很多種,本研究納入的文獻中,使用Cochrane Handbook推薦評價標準的文獻有35篇,使用Jadad計分法的文獻有74篇,使用其他質量評價標準的文獻有44篇,無質量評價標準的文獻有40篇。

表1 193篇中國老年醫學系統評價或Meta分析文獻的基本情況Tab.1 Basic information of 193 systematic reviews and Meta-analyses in geriatrics in China 篇(%)
2.3 方法學質量評價(AMSTAR) 98%的文獻在寫作之前能夠確定研究問題及納入和排除標準。80.3%的文獻至少有2名獨立的資料提取員。85.5%的文獻不能對文獻進行全面檢索,如只檢索1種數據庫,未對最新信息的目錄、綜述、教科書或特定領域的專家進行補充檢索或咨詢,大部分文獻無檢索策略。只有7.3%的文獻考慮發表狀態,但對灰色文獻的檢索方法、所選用的限制條件無具體說明。193篇文獻中均未提及納入和排除的研究清單。80.8%的文獻能夠詳細描述納入證據的基本特征并以表格的形式呈現。80.3%的文獻對納入研究的科學性進行評價和報道,并且97.9%的文獻能夠恰當地推導結論。94.3%的文獻在確定納入研究結果可合并的情況下,采用正確的統計方法評價異質性,其中部分研究進行了亞組分析。40.4%的文獻采用可行的檢測方法來評價發表偏倚。僅有6篇文獻報告了利益沖突。見表2。

表2 193篇中國老年醫學系統評價或Meta分析文獻的方法學質量評價Tab.2 Methodological quality evaluation of 193 systematic reviews and Meta-analyses in geriatrics in China 篇(%)
2.4 報告質量評價(PRISMA) 由表3可知,所有納入文獻均能夠通過文題確證為系統評價或者Meta分析,但無系統評價注冊號和明確的研究計劃書。雖然83.9%的文獻能夠檢索1種以上的數據庫,但只有5.7%的文獻詳述檢索過程,包括所有的檢索限定,以便可以被重復。僅36.3%的文獻對單個研究偏倚風險的方法進行描述評估并且詳述在數據綜合時如何利用該信息。69篇文獻能夠闡明影響到累計證據的偏倚風險評估,如發表性偏倚,79篇文獻描述了其他的補充分析。在結果部分,大部分文獻能夠給出研究篩選的流程圖并且描述每個研究的具體特征,但只有少部分的文獻詳述單個研究和評價過程中存在的風險評估結果。68.9%的文獻報告了敏感分析、亞組分析、Meta回歸等補充分析的結果。僅有8篇文獻闡明資金來源并且說明資助者在研究中所起的作用。

表3 193篇中國老年醫學系統評價或Meta分析文獻的報告質量評價Tab.3 Report quality evaluation of 193 systematic reviews and Meta-analyses in geriatrics in China 篇(%)
3.1 文獻一般情況 本研究結果顯示,128篇文獻由2至6位作者合作完成,僅有21.2%的文獻是醫院、大學共同研究,這可以看出,越來越多的研究趨向于多人分工合作,但跨單位的合作較少,資源沒有得到充分利用,這可能影響研究結果在臨床實踐中的應用[10]。作者單位所占比例最高為醫院(46.6%),其次為大學(32.1%),這說明在循證證據創造方面,醫院要優于大學,這可能與醫院和大學的工作性質、工作內容不同有關。
此外,193篇系統評價或Meta分析文獻的納入研究設計類型大多數為隨機對照試驗,其中使用CochraneHandbook推薦的質量評價標準的文獻有35篇,使用Jadad計分法的文獻有74篇,由此可以看出老年醫學領域系統評價或Meta分析的質量評價標準更傾向于使用Jadad計分法。目前的研究結果顯示,開放式非藥物臨床試驗的隨機對照試驗使用Jadad計分法往往對條目分配不同權重[12],可能將高質量的隨機對照試驗誤評為低質量[13],因此建議今后使用Cochrane Handbook推薦的更為嚴謹可行的質量評價標準[14]。此外無質量評價標準的文獻有40篇,因此這部分的研究可信性較低,文獻質量不高。
3.2 文獻方法學質量 本研究對中國193篇老年醫學領域系統評價或者Meta分析應用AMSTAR評價量表進行方法學質量評價,反映出老年醫學系統評價或者Meta分析研究的問題具體體現在以下幾個方面:文獻檢索不全面;納入標準中不能充分考慮納入研究的發表狀態;未提供納入和排除的研究清單;未評價發表偏倚;未報道利益沖突。
3.2.1 文獻檢索不全面 文獻檢索是為了撰寫系統評價或者Meta分析前能夠獲取所有相關原始研究,因此,制定全面的文獻檢索策略是確保高質量檢索結果的基礎。本研究納入的193篇文獻中,僅有28篇文獻符合要求,165篇文獻未能進行全面檢索,如只檢索1種數據庫,未對最新信息的目錄、綜述、教科書或特定領域的專家進行補充檢索或咨詢,未回溯性地檢索納入研究的參考文獻,且大部分文獻無詳細檢索策略,可能存在誤檢現象,所以文獻檢索結果質量不可保證,可能會存在選擇偏倚。在今后的文獻檢索中,應注重制定敏感度較高的文獻檢索策略,達到提高檢出率、降低漏檢率的要求,以確保研究質量。
3.2.2 納入標準中不能充分考慮納入研究的發表狀態 92.7%的文獻納入標準中沒有充分考慮納入研究的發表狀態。多數作者研究的陽性結果易被雜志刊登,陰性結果往往未能發表。高校畢業論文未被數據庫收錄也會導致部分文獻的遺漏。但檢索應不受發表類型限制,因此在可能的情況下應將灰色文獻考慮到納入標準中,以期將所有研究結果全面收錄。對于語種的限定勢必會對研究結果造成巨大影響,部分文獻只對中文數據庫進行檢索,使得國外的優秀研究證據沒有納入為分析對象,造成研究結果出現語言偏倚。因此文獻的納入標準中應對語種不加以限制,避免發表偏倚和查尋偏倚。
3.2.3 未提供納入和排除的研究清單,未評價發表偏倚,未報道利益沖突 193篇文獻均提供了納入研究的參考文獻,無一篇文獻提供排除研究的參考文獻。根據中國國情,建議雜志社在文章刊登前向作者索要排除研究的清單,條件允許的情況下,將排除清單附于研究結尾。此外,由于雜志編輯、作者、基金支持等各方面的原因,研究中可能會有發表偏倚的影響。陰性結果論文未被發表也會導致一定程度的發表偏倚[15],因此需要采用合適的檢測方法或統計學檢驗方法來判斷發表偏倚的程度。本研究的納入文獻中,40.4%的文獻采用漏斗圖、Egger回歸等方法來評價發表偏倚,59.6%的文獻未評估發表偏倚,這勢必導致研究結論的真實性、可靠性受到影響。利益沖突方面,3.1%的文獻在文章末尾清楚交代研究中潛在的資助來源,絕大部分的研究沒有提及。明確資助來源對證據的判斷有很好的參考作用,這對于藥物研究相當重要。在清楚資助來源的情況下研究者可以分析其潛在的利益沖突,進而分析研究結果的真實性。
3.3 文獻報告質量 本研究利用具有7個評估方面的PRISMA量表評價文獻報告質量,結果顯示,中國老年醫學領域系統評價或者Meta分析報告質量在摘要(摘要報道不全面)、方法(無詳細研究計劃書和注冊信息,未詳述檢索策略、評估單個研究偏倚風險方法、闡明研究中的偏倚風險評估及其他分析)、結果(未詳述單個研究及評價過程中的風險評估及其他分析)、討論(未報道研究中的局限性)、結論(資助來源及資助者在研究中所起作用未表明)5方面尚存在問題。
3.3.1 摘要報道不全面,無詳細研究計劃書及檢索策略 納入的193篇文獻在摘要部分均無系統評價注冊號,且對于摘要的報道過于簡單,不能全面涵蓋到研究緣由、資料來源、入選標準、合并方法及主要結果等方面,使得研究人員不能根據摘要對全文有大致了解。大部分文獻采用“目的”、“方法”、“結果”、“結論”的四步驟來報道摘要部分信息,這可能與長時間的論文撰寫習慣和雜志要求有關,今后的研究中應嚴格按照規范格式報道。此外,所有研究均無計劃書和注冊信息,與可能和中國尚無嚴格的注冊系統有關。在文獻檢索方面,83.9%的文獻部分符合要求,10.4%的文獻完全不符合要求,僅有5.7%的文獻完全符合要求,能夠詳述檢索策略,包括檢索詞、檢索式,并且列舉1至2個代表性數據庫的檢索策略,使文獻檢索過程具備可重復性利于研究使用者評估整體研究的質量[16],如若有任何特殊限定,比如日期、語種,也應在此部分詳細說明。由此可見,研究者對于文獻的規范檢索以及檢索式的正確制定能力還有待提高。
3.3.2 偏倚風險評估 評估納入研究的偏倚風險是制作系統評價或者Meta分析的重要內容,因此研究中偏倚風險評估的方法、導致偏倚形成的因素(如發表性偏倚)以及偏倚風險評價的結果都應在研究中詳細闡述。一方面有助于研究者了解納入原始研究的質量,利于研究者深入了解研究的科學性,另一方面有助于提示后續研究時應注意哪些問題,從而合理規避影響因素。
原始研究的質量直接影響系統評價或者Meta分析的可靠性,本研究中,針對PRISMA量表的方法部分,只有36.3%的文獻提及單個研究偏倚風險評估方法且說明在數據綜合時如何利用該信息,這說明大部分的研究者沒有使用合適的偏倚風險評估工具進行質量評價,因此大部分的文獻結果是應該受到質疑的。僅有35.8%的文獻詳細闡明影響到累計證據的偏倚風險評估,并在研究中有選擇地報道,這說明對于類似發表性偏倚的現象大部分研究者并不敏感,這極易導致研究得出錯誤的結論,從而造成衛生決策的失誤。針對PRISMA量表的結果部分,35.8%的文獻在結果部分詳述每個研究可能存在的偏倚,40.5%的文獻給出研究間的偏倚評估結果,其中部分文獻附有漏斗圖。這足可以說明,中國老年醫學系統評價或者Meta分析的研究對于偏倚風險評估的重視不足。將注意力更多地集中在研究結果是否有意義,能否得出陽性結果,而忽視了最根本的問題,即原始研究及研究過程的嚴謹性、可信性。因此,建議在今后的研究中,應重視偏倚風險的評估,從而提高研究報告學質量。
3.3.3 其他補充分析 其他補充分析包括,敏感性分析、亞組分析、Meta回歸等。經過統計,針對PRISMA量表的方法部分,40.9%的文獻提及其他補充分析。PRISMA量表的結果部分,30.6%描述了具體的補充分析結果。這表明真正在研究中實施補充分析的研究不多,這可能與研究內容的性質有關,也可能與某些研究者忽視陰性結果,僅僅報告有統計學意義的陽性結果有關。因此,所有實施的其他補充分析都應先說明是否是預期設定,對于陰性結果也應呈現,以利于讀者對研究有更深入的了解。
3.3.4 研究的局限性 所有的研究都有可能在研究層面和結果層面中存在一定的漏洞、不足。本研究46.7%的文獻詳細描述了老年醫學系統評價或者是Meta分析研究的局限性,有助于讀者在閱讀過程中對研究作出清楚的判斷,避免誤導現象。
3.4 本研究的局限性 本研究存在以下局限性:首先,在文獻的篩選方面,由于是人工完成,可能會存在因主觀性而造成的文獻誤檢。其次,不同評價者對于AMSTAR量表和PRISMA量表的理解可能有出入,造成最終的評分結果存在差異。最后,由于納入標準中限定為中國老年醫學領域的研究,國外有關老年醫學系統評價或者是Meta分析的研究在文中沒有體現,因此結論的外推性受限。
綜上所述,本研究利用AMSTAR量表和PRISMA量表對中國老年醫學系統評價或者Meta分析的文獻進行方法學與報告質量評價。結果顯示:中國老年醫學系統評價或者Meta分析的文獻數量逐年上升,但質量還有待提高。建議老年醫學研究者能夠提升循證研究能力,積極制作具有較高質量水平的系統評價或者Meta分析研究,嚴格遵照規范報告格式撰寫文獻,從而更好地指導臨床實踐,同時促進中國老年循證醫學的發展。
[1]丁泓帆,吳瓊芳,楊 楠,等.評估系統評價偏倚風險的ROBISIS工具實例解讀[J].中國循證醫學雜志,2016,1(8):115-121.
[2]谷鴻秋,王 楊,李 衛.Cochrane偏倚風險評估工具在隨機對照研究Meta分析中的應用[J].中國循環雜志,2014,29(2):147-148.
[3] 徐俊峰,葛 龍,安 妮,等.中國大陸學者發表診斷性試驗系統評價現狀分析[J].中國循證兒科雜志,2013,8(5):388-390.
[4] 徐俊峰,安 妮,周為文,等.《中國循證醫學雜志》發表的干預類系統評價/Meta分析方法學質量評價[J].中國循證醫學雜志,2013,13(5):605-611.
[5] Rajah MN,Bastianetto S,Bromley-Brits K,et al.Biological changes associated with healthy versus pathological aging:A symposium review[J].Ageing research reviews,2009,8(2):140-146.
[6] 葛 亮,王 樺,張艷芳.老年醫學研究現狀與發展[J].中國老年學雜志,2013,33(19):4927-4930.
[7] 段春波,高 超,姚慧卿,等.我國主要老年醫學期刊發表的Meta分析文獻質量評價[J].中華老年醫學雜志,2014,33(3):321-324.
[8] 曾憲濤,黃 偉,田國祥.Meta分析系列之九:Meta分析的質量評價工具[J].中國循證心血管醫學雜志,2013,5(1):3-5.
[9]曾憲濤,李 勝,馬 鉆,等.Meta分析系列之八:Meta分析的報告規范[J].中國循證心血管醫學雜志,2012,4(6):500-503.
[10]周為文,葛 龍,徐俊峰,等.《中國循證醫學雜志》發表的干預類系統評價/Meta分析報告質量評價[J].中國循證醫學雜志,2013, 13(4):482-488.
[11]Whitlock EP,Lin JS,Chou R,et al.Using existing systematic reviews in complex systematic reviews[J].Annals of internal medicine,2008,148(10):776-782.
[12]馬 捷,劉 瑩,鐘來平,等.Jadad量表與Cochrane偏倚風險評估工具在隨機對照試驗質量評價中的應用與比較[J].中國口腔頜面外科,2012,10(5):417-422.
[13]Higgins JPT,Altman DG,Gotzsche PC,eta1.The Cochrane Collaboration’s tool for assessing risk of bias in randomised trials[J]. BMJ,2011,343:d5928.
[14]Higgins JPT,Green S.Cochrane handbook for systematic reviews of interventions.Version 5.1.0[EB/OL].http://www,cochrane/handbook.org,2013.2011-03-01.
[15]熊 俊,陳日新.系統評價/Meta分析方法學質量的評價工具AMSTAR[J].中國循證醫學雜志,2011,11(9):1084-1089.
[16]靳英輝,馬恩婷,花 巍,等.國內護理領域系統評價/Meta分析的方法學與報告質量評價[J].中國循證醫學雜志,2012,12(9):1148-1155.
Reporting and methodological quality of systematic reviews and Meta-analyses in geriatrics in China
ZHAO Ying,LIU Jian
(Acupuncture Department,The First Affiliated Hospital of Tianjin University of Traditional Chinese Medicine, Tianjin 300193,China)
[Objective]To evaluate reporting and methodological quality of systematic reviews and Meta-analyses.[Methods]CNKI,VIP, Wanfang,CBM data base were searched for systematic reviews and meta-analyses in geriatrics in China from the establishment date to May 2016.PRISMA and AMSTAR checklists were used to assess.[Results]A total of 193 systematic reviews and Meta-analyses involving 65 systematic reviews and 128 Meta-analyses were identified.The quantity and quality of systematic reviews and Meta-analyses published on Chinese journal of geriatrics are increased and improved in recent years.The deficiencies of reporting and methodological quality of systematic reviews and Meta-analyses mainly contained literature search,assessment of publication bias and publication funds.[Conclusion]The reporting and methodological quality of systematic reviews and Meta-analyses in geriatrics rises gradually over years in China,but it still needs to be further improved.The elder medical researchers need to promote evidence-based research capacity and strictly follow the standard format of report to write literature.
geriatrics;systems analysis;Meta-analyses;quality assessment
R195
A
1672-1519(2016)12-0723-06
方面,僅有32篇文獻獲得資助,說明國內還應提高對老年領域系統評價或者Meta分析的基金支持,另一方面還應提高研究人員的循證研究能力,將研究基金中一部分用于正規的循證方法學習,使得研究人員能夠持續在老年醫學領域進行高質量的循證研究。Whitlock等[11]于2008年提出相同、相關系統評價整合的步驟,如若能夠對以往系統評價進行評估、整合,則會使得研究結果更具科學性、可信性。本研究193篇納入文獻中,整合之前相關系統評價或Meta分析的文獻僅有12篇,181篇文獻不存在相關文獻或沒有查找已存在的相關文獻。因此,為避免重復研究、最大程度地降低偏倚風險,應在常規檢索的基礎上增加對以往研究的評估、整合,以提高研究的方法學與報告質量。
2016-07-19)
(本文編輯:滕曉東,馬 英)
10.11656/j.issn.1672-1519.2016.12.06
*
國家中醫藥管理局國家中醫臨床研究基地業務建設科研專項基金項目(JDZX2012145)。
趙 穎(1974-),女,碩士,副主任醫師,研究方向為針灸學。