或許你還記得，2015年發(fā)表于《科學》的一項研究引發(fā)了心理學領域的“地震”。在這項研究中，來自世界各地不同機構的270位研究人員共同重復了100項心理學實驗，研究結果敲響了警鐘：僅有36%的重復實驗與原論文得到了一致的結論。

事實上，心理學并不是唯一一個遭遇“可重復性危機”沖擊的領域。在大約10年前，美國開放科學中心（Center for Open Science）和Science Exchange平臺共同啟動了一系列可重復性項目（Reproducibility Project），2015年的這篇論文就是這個項目的成果之一。最近，可重復性項目：癌癥生物學（Reproducibility Project：Cancer Biology，RPCB），終于在eLife發(fā)表了完整的重復實驗成果。

起初，項目團隊計劃重復53篇具有高影響力的論文中的193項實驗，然而由于實驗方案描述模糊、論文作者未能提供有效幫助等原因，團隊最終僅僅重復了23篇論文中的50項實驗。而在這23篇論文中，也僅有47%能得到完全一致的結論，如果考慮到效應量（effect size，度量效應大小的指標），則只有25%的重復實驗的效應量在原結果95%的置信區(qū)間內。

RPCB項目啟動于2013年，總耗資200萬美元。項目團隊的目標非常明確：重復那些發(fā)表在頂級期刊上、具有高影響力的臨床前癌癥研究——也就是把這些研究在盡可能相同的條件下，以盡可能相似的方式再做一遍。事實上，在此之前，就已經有一些研究在質疑這個領域研究結果的可重復性了。例如，在2012年發(fā)表于《自然》的一篇文章中，美國生物技術公司Amgen的團隊就重復了53篇“具有里程碑意義”的論文中的實驗，然而卻僅能確認其中6篇（11%）的結果。

RPCB的研究者從2010-2012年的相關研究中，同樣選出了53篇論文，其中不少發(fā)表于《自然》《科學》《細胞》等“頂級期刊”。艱難的重復實驗消耗了研究團隊8年的時間，才終于在“縮水超過一半”的情況下，完成了整項工作。

令人震驚的結果

這次發(fā)表的兩篇論文中，第一篇論文就專門分析了項目團隊在重復實驗過程中遇到的種種困難。論文中指出，項目涉及的所有研究中，原始論文都缺乏足夠的數(shù)據(jù)和實驗細節(jié)，以至于全都需要詢問原作者。而只有26%的原作者提供的信息“非常有幫助”，其中一些愿意直接分享實驗材料，甚至可能在幾個月的時間里積極跟進項目團隊的工作。而32%的作者“完全沒有提供幫助”——基本忽視了項目團隊詢問的所有問題。原作者都不配合，大家都懂的了

原作者的不配合，原作者都不配合，大家都懂的了以及實驗過程中遇到的種種困難，使得重復實驗既耗時、又費錢。平均來說，重復每項研究中的所有實驗需要197個星期，花費則達到了53 000美元，大約是預期費用的2倍——這也導致項目沒能實現(xiàn)最初設定的目標。

在第二篇論文中，研究者公布了重復實驗的結果數(shù)據(jù)。研究者從結論（是或否）和統(tǒng)計顯著性角度設置了5項標準，而能夠在所有標準上與原實驗一致的只有47%。而且平均而言，重復實驗得到的效應量，比原實驗低85%。但在論文中，研究者也說明“成功的重復出實驗并不能證實原始發(fā)現(xiàn)一定可靠，同樣，重復失敗也不能否認原始發(fā)現(xiàn)，但（復制失敗）確實表明，原始發(fā)現(xiàn)需要進一步的檢查和研究?！?/p>

反對的聲音

然而，的確并不是每個人都認可這項研究的成果——尤其是那些研究未能被成功重復的研究者。

一些研究者認為，僅僅一次重復實驗失敗并不可信。比如，美國Sanford Burnham Prebys醫(yī)學研究所的癌癥生物學家艾爾基·羅斯拉赫蒂（Erkki Ruoslahti）就表示：“我不認為像這樣做一次實驗能有多大價值。原作者都不配合，大家都懂的了我很難相信這些論文中，有一半都是不真實的。”2017年，RPCB團隊發(fā)表的初步結果就指出，羅斯拉赫蒂的研究團隊的一項實驗未能重復出一致的結果。但羅斯拉赫蒂反駁稱，其他實驗室已經進行過多次重復實驗，且其中至少有20次得到了一致的結果。而基于該項研究開發(fā)出的一款候選藥物，也已經進入了二期試驗。

美國的癌癥生物學家迪安·當（Dean Tang）也持有同樣的看法，他認為想要否認這些研究的成果，至少需要3次失敗的重復實驗。原作者都不配合，大家都懂的了2019年，RPCB報告說當所在實驗室的一些工作成果無法成功復制，但是當認為，RPCB的研究者使用了較少且不同的細胞系，而且實驗過程也沒有仔細檢查。

但就PRCB項目設立的目的來說，他們并不是為了駁倒或是否認某個特定的研究，而是為了了解這個領域內的可重復性危機嚴重到了何等程度，背后的原因是什么，從而系統(tǒng)性地解決這個問題。參與了重復實驗的布賴恩·諾塞克（Brian Nosek，他也是開放科學中心的執(zhí)行董事）說：“重復實驗的結果其實并不是我們最應當關注的焦點。如果我們能進一步研究為何會得到相互矛盾的結果，或許可以得到更深一步的科學見解?！?/p>

失敗并不重要

在論文最后，項目團隊也給出了他們的建議：體外實驗和動物實驗可以考慮采取更大的樣本量、更嚴謹?shù)慕y(tǒng)計標準和預先注冊研究方案，同時在論文發(fā)表過程中，也應當對數(shù)據(jù)提供作出要求。

但研究者也提出，同樣需要考慮的，是利益相關者對待重復實驗的態(tài)度。事實上，對于已經發(fā)表了知名論文的人來說，他們并沒有充足的理由積極參與重復實驗——畢竟重復成功也并不會帶來太多好處，但重復失敗卻會導致極大的損失。因此對于一些研究者看來，重復實驗甚至可能是潛在的威脅，而不是一種進步的機會。諾塞克表示，這種科研文化十分不利于學科走上自我修正道路，“我們真的要考慮改變整個領域的研究文化”。

但好消息是，研究者對待重復實驗的態(tài)度似乎也開始發(fā)生變化了。2012年那項可重復性研究的作者格倫·貝格利（Glenn Begley）就發(fā)現(xiàn)：“當我第一次展示我（關于可重復性的）的研究結果時，人們大多充滿敵意。但現(xiàn)在，我們開始正視問題，許多研究者會詢問需要采取什么措施來改變這種情況。”

或許正如美國天文學家菲爾·普萊特（Phil Plait）所言：“科學的一部分過程，就是承認我們有時會犯錯。這可能會非常、非常困難……但它的另一面是最美好的，那就是更進一步的認知和理解?！笨芍貜托晕C盡管會帶來“地震”，但并不會推翻整個領域，恰恰相反，這或許是一個研究領域提升自我質疑的能力、變得更加成熟的必經之路。

編譯 | 二七

審校 | clefable

題圖來源：Pixabay