科學欺詐容易識別且易于打擊
? ? ? ?學術造假包括“美化”數(shù)據(jù)、PS圖像和“論文工廠”。專家和機構正在使用工具來發(fā)現(xiàn)具有欺騙性的研究并縮小其影響范圍。
? ? ? ?就像互聯(lián)網(wǎng)上的很多東西一樣,PubPeer是那種你可能想要匿名的地方。在那里“偵探們”在隨機分配的分類名稱下,比如 Actinopolyspora biskrensis(一種細菌)和 Hoya camphorifolia(一種開花植物),一絲不茍地記錄科學文獻中的錯誤。盡管他們寫了各種各樣的錯誤,從糟糕的統(tǒng)計數(shù)據(jù)到荒謬的方法論,但他們的共同專長是處理圖像:顯示可疑的邊緣清晰的蛋白質云,或者在兩個本應不同的實驗中相同的細胞排列。有時候這些不規(guī)則現(xiàn)象僅僅意味著研究人員在將圖像提交給期刊之前試圖對其進行美化。因而仍然引起了他們的警覺。
? ? ? ?PubPeer的科學偵探精英群體中出現(xiàn)了一位意想不到的名人:伊麗莎白·比克,她用不可思議的敏銳視覺發(fā)現(xiàn)了幾乎任何其他觀察者都看不見的圖像復制品。這樣的重復可以讓科學家通過把許多圖像的部分內(nèi)容放在一起,憑空捏造出結果,或者聲稱一幅圖像代表兩個產(chǎn)生類似結果的獨立實驗。但即使是比克那只超自然的眼睛也有局限性:不使用相同的圖像兩次就可以偽造實驗。
? ? ? ?伊麗莎白·比克:“如果兩張照片有一點重疊,我可以抓住你。但是如果把樣本再移遠一點,我就找不到重疊了?!?/p>
? ? ? ?當世界上最知名的專家也不能總是識別欺詐時,打擊它甚至研究它似乎是不可能的。
? ? ? ?然而良好的科學實踐可以有效地減少欺詐(即徹頭徹尾的偽造)對科學的影響,無論這種影響是否被發(fā)現(xiàn)。
? ? ? ?馬塞爾·范·阿森 ( 蒂爾堡社會與行為科學學院元研究中心的首席研究員):“欺詐不能從科學中排除,就像我們不能在社會中排除謀殺一樣。但是隨著研究人員和倡導者繼續(xù)推動科學朝著更加開放和公正的方向發(fā)展,欺詐將在未來不那么普遍?!?/p>
? ? ? ?除了比克這樣的偵探,范·阿森這樣的“元科學家”是世界上的欺詐專家。這些研究人員系統(tǒng)地跟蹤科學文獻,努力確保其盡可能準確和可靠。
? ? ? ?元科學自2005年以來就一直存在,當時約翰·約安迪斯——一位曾經(jīng)備受贊譽的斯坦福大學教授(最近因其對新冠肺炎大流行的觀點而聲名狼藉),發(fā)表過一篇題為《為什么大多數(shù)已發(fā)表的研究發(fā)現(xiàn)是錯誤的》的論文。
? ? ? ?約翰·約安迪斯認為小樣本量和偏倚意味著不正確的結論往往最終出現(xiàn)在文獻中,而這些錯誤很少被發(fā)現(xiàn),因為科學家寧愿推進自己的研究進程,而不是試圖重復同事的工作。
研究偏倚
? ? ? ?約安迪斯自從那篇論文之后,元科學家們已經(jīng)磨練了他們研究偏倚的技術,偏倚這個術語涵蓋了從所謂的“可疑的研究實踐”到徹底的數(shù)據(jù)捏造或偽造一切,所謂的“可疑的研究實踐”是指不公布負面結果或一遍又一遍地應用統(tǒng)計測試,直到發(fā)現(xiàn)一些有趣的東西。
他們通過觀察文獻中的總體模式而不是單個研究來了解這種偏倚的脈搏。
? ? ? ?例如當針對某一特定主題的小型研究往往比大型研究顯示出更具戲劇性的結果時,這可能是偏倚的指示。較小的研究具有更大的可變性,因此其中一些研究會在偶然的情況下變得引人注目,在一個引人注目的結果備受青睞的世界里,這些研究會更頻繁地發(fā)表。其他方法包括查看P值,即表示給定結果是否具有統(tǒng)計意義的數(shù)字。如果在關于某一研究問題的文獻中,太多的P值似乎有意義,而太少的P值沒有意義,那么科學家可能會使用有問題的方法,試圖讓他們的結果看起來更有意義。
? ? ? ?但是這些模式并不能說明這種偏倚在多大程度上歸因于欺詐,而不是不誠實的數(shù)據(jù)分析或無辜的錯誤。
? ? ? ?詹妮弗·伯恩(悉尼大學分子腫瘤學教授)認為在某種意義上,欺詐本質上是不可衡量的。她致力于在癌癥文獻中識別潛在的欺詐性論文。“欺詐與意圖有關,這是一種心理狀態(tài)。該如何從一篇發(fā)表的論文中推斷出一種精神狀態(tài)和意圖?”
? ? ? ?更復雜的是不同的人對欺詐有很多種解讀:
1.技術
? ? ? ?從技術上講從數(shù)據(jù)中忽略異常值等常見的科學做法可能被視為欺詐。所有這些都使得欺詐行為極其難以衡量,所以專家們常常對它到底有多普遍持不同意見——而欺詐研究人員是一群固執(zhí)己見的人。
? ? ? ?伊麗莎白·比克推測5% 到10% 的科學論文是欺騙性的,丹尼爾·法內(nèi)利(倫敦經(jīng)濟學院的元科學家)認為真實的比例可能低于1%。
2.撤稿
? ? ? ?為了掌握這種頻率,研究人員可以追蹤撤稿的情況,即期刊刪除論文是因為它有不可彌補的缺陷。
? ? ? ?但實際上很少有報紙會遭遇這種命運——截至1月3日,撤稿觀察博客報告稱,在2021年發(fā)表的數(shù)百萬篇論文中只有3276篇被撤稿。大約40%的撤稿是由于不誠實或抄襲等不屬于欺詐的學術不端行為。
? ? ? ?由于撤稿是一種間接衡量欺詐的方法,一些研究人員直接找到文章來源,并對科學家進行調查。
? ? ? ?根據(jù)幾項已發(fā)表的調查,法內(nèi)利估計大約2% 的科學家在他們的職業(yè)生涯中有過欺詐行為。但在最近對荷蘭科學家進行的一項匿名調查中,8% 的受訪者承認在過去三年中至少有過一些欺詐行為。即使是這個數(shù)字可能也很低,因為也許有些人不愿意承認自己在科學上的不當行為,即使是在匿名調查的安全情況下。
? ? ? ?但結果并不像看起來那么可怕。因為某人犯過一次欺詐并不意味著他們總是這樣做。事實上承認有可疑研究行為的科學家報告說,他們只在研究的一小部分中使用了這些行為。而且由于欺詐的定義非常不明確,一些說自己實施了欺詐的研究人員可能遵循了常見的做法——比如根據(jù)公認的指標去除異常值。
3.面對這種令人沮喪的模糊性
? ? ? ?伊麗莎白·比克在2016年決定試圖通過盡可能系統(tǒng)化的方式弄清欺詐問題的嚴重程度。她和她的同事梳理了超過20,000篇論文,尋找圖像的復制品。他們發(fā)現(xiàn)了其中4% 的問題。在一半以上的案例中,他們認為欺詐是可能的。
? ? ? ?但是這些結果只說明了圖像復制的問題,如果比克查找了數(shù)字數(shù)據(jù)的不規(guī)則性,那么她發(fā)現(xiàn)的有問題的論文數(shù)量可能會更多。
4.造假的發(fā)生率是否比它對科學的影響更重要,在這一點上專家們也無法達成一致。
? ? ? ?丹尼爾·法內(nèi)利過去把大部分研究重點放在欺詐上,但現(xiàn)在把大部分時間花在其他元科學問題上,他認為沒有什么可擔心的。在一項研究中他發(fā)現(xiàn)撤回的論文對薈萃分析的結論只有很小的影響。薈萃分析試圖通過分析大量的論文來確定某一特定主題的科學共識。只要在某一特定主題上有大量的工作,一篇論文通常不會太大地改變科學共識。
? ? ? ?馬塞爾·范·阿森也認為欺詐并不是科學研究最重要的威脅,“有問題的研究實踐”——比如重復一個實驗,直到你得到一個有意義的結果,也是可怕的,而且它們要普遍得多,因此我們不應過于關注欺詐行為?!彼f。在荷蘭的調查中,大約一半的研究人員承認從事有問題的研究活動,是承認欺詐的六倍。
? ? ? ?詹妮弗·伯恩特別擔心“論文工廠”,這些組織大量生產(chǎn)假論文,然后把作者身份賣給尋求職業(yè)提升的科學家。她說在一些小的分支學科中,偽造論文的數(shù)量超過了真實論文。她說“如果人們知道有很多可能是捏造的研究,而且他們也知道沒有人對此采取任何行動,他們就會對整個過程失去信心?!?/p>
? ? ? ?盡管伊麗莎白·比克和她的PubPeer同事們努力嘗試,但比克永遠無法擺脫世界上的科學欺詐。不過保持科學工作的正常進行,她也不一定需要那么做。畢竟有無數(shù)的文件是完全誠實的,也完全不正確,有時候研究人員也會犯錯誤,有時候看似真實的模式只是隨機噪音。這就是要進行重復研究,看看是否能得到相同的結果——是科學的重要組成部分。進行重復研究可以減輕欺詐的影響,即使欺詐從未被明確識別。
? ? ? ?亞當·馬庫斯與伊萬·奧蘭斯基一起創(chuàng)立了撤稿觀察。他說“這不是萬無一失,也不是超級高效。這是我們擁有的最有效的機制?!薄盀榱耸怪貜统蔀楦行У毓ぞ撸髮W可以停止獎勵發(fā)表大量高調論文的科學家,而開始獎勵進行重復研究的科學家。當證據(jù)表明存在欺詐的可能性時,期刊可以更快地做出反應。要求科學家分享他們的原始數(shù)據(jù)或者根據(jù)他們的方法而不是他們的結果來接受論文會使欺詐變得更加困難和更少的回報。”“隨著這些實踐變得越來越流行,科學的自我修正能力變得更強??茖W應該是自我修正的,我們正在實時觀察它自我糾正?!?/p>