研究人員希望研究成果能夠提供更好的質(zhì)量指標(biāo)

在2009年有影響力的同行評審調(diào)查十年后，新的調(diào)查結(jié)果顯示研究人員對同行評審有信心，但系統(tǒng)的壓力 - 包括研究成果和研究平臺的增加 - 正在使他們擔(dān)心質(zhì)量和可靠性。

調(diào)查發(fā)現(xiàn)研究人員不想取代同行評審過程，因?yàn)?5%的人對此感到滿意(2009年為69%)。研究人員希望改進(jìn)和擴(kuò)展該系統(tǒng)。這是一個應(yīng)該何時使用同行評審并知道何時使用的問題。超過三分之一的受訪者表示，他們對上周所遇到的至少一些研究成果的質(zhì)量表示懷疑。

該研究來自Sense about Science和Elsevier的相同團(tuán)隊(duì)，截至2009年，有超過3,000名受訪者，從Scopus數(shù)據(jù)庫中隨機(jī)選擇了超過300萬名已發(fā)表的研究人員。

在評論該調(diào)查時，Sense about Science Director Tracey Brown說：“這項(xiàng)調(diào)查顯示，我們對于更廣泛地了解同行評審的進(jìn)展現(xiàn)在還不足以用于20世紀(jì)20年代的研究出版，或者讓人們了解質(zhì)量檢查是什么完成。

“我們迫切需要看到一個共同的語言，并對所審查的內(nèi)容有更大的透明度。它是否包括數(shù)據(jù)?使用了什么標(biāo)準(zhǔn)?它甚至是已發(fā)表的研究嗎?記住許多研究用戶通過搜索引擎獲取信息，而非學(xué)術(shù)門戶網(wǎng)站“。

其他結(jié)果包括：

受訪者希望獲得更多信息以及研究論文，包括一個指示器，以顯示其他人是否曾嘗試重現(xiàn)該研究(82%)。(見完整報(bào)告的圖10，第20頁)。

大多數(shù)研究人員(76%)認(rèn)為應(yīng)該審查伴隨研究文章的數(shù)據(jù)和支持材料。(見圖9，完整報(bào)告的第19頁)。

三分之二的參與者認(rèn)為審稿人將受益于更清晰的審查標(biāo)準(zhǔn)指南，而許多人認(rèn)為審查工作的認(rèn)可對于維護(hù)健康的同行評審體系非常重要，最常見的是雇主(見圖12，完整報(bào)告第22頁) )。

很少有研究人員(38%)同意公眾理解同行評審的概念。有強(qiáng)烈支持(77%)明確指出材料已經(jīng)過審查; 大多數(shù)人(70%)都覺得解釋研究背景，研究在非專業(yè)術(shù)語中的意義最有幫助。

盡管使用技術(shù)評估證據(jù)的趨勢，但很少有受訪者(8%)認(rèn)為依賴人工智能的評估符合同行評審的條件。

緊急行動有四個方面：

隨著研究成果和信息平臺數(shù)量的不斷增加，研究人員希望改進(jìn)信號，能夠輕松地交叉檢查工作。

本研究和其他研究的研究人員提出了更好的培訓(xùn)，信息和更多基于職業(yè)的認(rèn)可。找到一種方法來刪除審閱者指令中的當(dāng)前不一致性是至關(guān)重要的。

關(guān)于技術(shù)在同行評審中的作用的協(xié)議，例如，使用它來管理不斷增加的提交數(shù)量并減輕審稿人的負(fù)擔(dān)，而不會失去人類判斷的好處?如果不進(jìn)行討論，人工智能的使用可能會進(jìn)一步破壞人們信任內(nèi)容的能力。

確保將研究放在上下文中：文章包括易于理解的研究解釋; 并且使用共同語言向研究人員和公眾傳達(dá)已經(jīng)審查的內(nèi)容以及所完成的審查類型。

Elsevier客戶洞察研究總監(jiān)Adrian Mulligan說：“這項(xiàng)研究強(qiáng)調(diào)了研究溝通的壓力越來越大，同時重要的是同行評審的價(jià)值。保持同行評審體系的完整性至關(guān)重要，因此各利益相關(guān)方共同努力確保審稿人獲得認(rèn)可，擁有明確的指導(dǎo)和質(zhì)量工具，以支持他們的角色。“