原文刊載于《中國科學(xué)院院刊》2024年第1期“戰(zhàn)略與決策研究” ，本文為精簡改編版

徐  芳    李曉軒*

1.中國科學(xué)院科技戰(zhàn)略咨詢研究院 

2.中國科學(xué)院大學(xué) 公共政策與管理學(xué)院 

3.中國科學(xué)學(xué)與科技政策研究會(huì) 科技管理與評價(jià)專委會(huì)

2013年5月，《科研評價(jià)的舊金山宣言》（San Francisco Declaration on Research Assessment，DORA，簡稱舊金山宣言）正式發(fā)布，旨在解決逐漸興起的“以刊評文，以文評人”問題?！杜f金山宣言》得到國際科學(xué)共同體廣泛認(rèn)同與反響；以此為旗幟，許多國際學(xué)術(shù)組織、學(xué)術(shù)年會(huì)、高校與研究機(jī)構(gòu)開始討論科技評價(jià)改革。同時(shí)，成立了DORA科技評價(jià)聯(lián)盟、科技管理國際聯(lián)盟（INORMS）科技評價(jià)工作組等新的國際組織致力于推動(dòng)科技評價(jià)改革。筆者作為國際科技評價(jià)組織的任職者和經(jīng)歷者，通過對國際科技評價(jià)改革10年進(jìn)行系統(tǒng)地梳理、分析和比較，得出相應(yīng)結(jié)論和啟示，以期起到他山之石的效果。

 一 、國際科技評價(jià)改革要解決什么問題？

歸納起來，國際科技評價(jià)改革要應(yīng)對的問題或者說要達(dá)成的目標(biāo)大致有3個(gè)方面。

（一）避免文獻(xiàn)計(jì)量學(xué)方法在科技評價(jià)中的不當(dāng)使用

文獻(xiàn)計(jì)量學(xué)方法的引入，一方面為科技評價(jià)提供了證據(jù)支撐；另一方面助推了“以刊評文”的逐步興起——“發(fā)表在哪兒比發(fā)表什么更重要”，這無疑對科研產(chǎn)出的質(zhì)量、完整性和多樣性產(chǎn)生不利影響。如何避免文獻(xiàn)計(jì)量學(xué)方法的不當(dāng)使用，成為國際科學(xué)共同體面臨的重要挑戰(zhàn)。

（二）重視科學(xué)對經(jīng)濟(jì)社會(huì)的影響力（impact）評價(jià)

影響力評價(jià)的引入帶來2個(gè)方面的挑戰(zhàn)：

1. 科學(xué)共同體難以形成共識(shí)，很多科研人員不認(rèn)可影響力評價(jià)，認(rèn)為這種邊界模糊、容易自我吹噓的評價(jià)會(huì)助長學(xué)術(shù)不端、損害學(xué)術(shù)質(zhì)量。

2. 準(zhǔn)確評價(jià)影響力難度太大，難以找到科學(xué)的指標(biāo)、數(shù)據(jù)來源與評價(jià)方法。

（三）適應(yīng)開放科學(xué)、基于人工智能的科學(xué)研究等新范式發(fā)展

以數(shù)據(jù)共享為基礎(chǔ)的開放科學(xué)（Open Science）近年來在歐美盛行并逐漸影響全球。開放科學(xué)運(yùn)動(dòng)興起的同時(shí)要求改革科技評價(jià)系統(tǒng)，以提高公開性和透明度。人工智能的迅猛發(fā)展也將對科技評價(jià)產(chǎn)生深遠(yuǎn)影響。同時(shí)，AI4S在促進(jìn)科技發(fā)展、減輕科學(xué)家負(fù)擔(dān)的同時(shí)，可能強(qiáng)化數(shù)據(jù)預(yù)測技術(shù)而帶來風(fēng)險(xiǎn)與偏見，也對改革科技評價(jià)提出了新挑戰(zhàn)。

二、國際科技評價(jià)改革采取了什么舉措？

國際科技評價(jià)改革的若干重要舉措

從路徑來看，國際科技評價(jià)改革由科學(xué)共同體主導(dǎo)，主要采用自下而上方式開展。國際科技評價(jià)改革啟動(dòng)的標(biāo)志性事件是2013年5月《舊金山宣言》的發(fā)布?！杜f金山宣言》發(fā)布后，許多國際學(xué)術(shù)組織、學(xué)術(shù)年會(huì)、高校與研究機(jī)構(gòu)紛紛跟進(jìn)，并成立了DORA科技評價(jià)聯(lián)盟等新的國際組織共同致力于推動(dòng)科技評價(jià)改革。2023年5月，包括中國在內(nèi)的全球許多國家分別舉行了《舊金山宣言》發(fā)布10周年紀(jì)念活動(dòng)。10年來，國際科學(xué)共同體在推動(dòng)科技評價(jià)改革上做了大量形式多樣的工作，包括發(fā)布宣言、倡議、聲明；組織學(xué)術(shù)年會(huì)交流、專題研討、項(xiàng)目研究；形成研究專報(bào)、科技評價(jià)方法框架、好的評價(jià)案例、科技評價(jià)試點(diǎn)協(xié)定等。

詳情見原文。

國際科技評價(jià)改革的主要效果

（一）在全球范圍內(nèi)形成科技評價(jià)改革共識(shí)

截至2024年1月4日，已有3078個(gè)組織和21339名個(gè)人簽署了舊金山宣言，包括來自中國的15家機(jī)構(gòu)。2022年，“推進(jìn)科研評價(jià)聯(lián)盟”（CoARA）正式成立，并發(fā)布了《改革科研評價(jià)的協(xié)定》，來自40多個(gè)國家的350多個(gè)組織簽署了協(xié)定?？萍荚u價(jià)改革日益在全球范圍內(nèi)形成共識(shí)。

（二）經(jīng)過科學(xué)共同體各方力量共同努力，科技評價(jià)改革的“圖譜”逐漸清晰化

比如，《舊金山宣言》提出破除“以刊評文”；《萊頓宣言》進(jìn)一步提出要糾偏“量化評價(jià)”；《量化指標(biāo)潮流》報(bào)告進(jìn)一步明確量化評價(jià)的作用及規(guī)范；SCOPE框架定義負(fù)責(zé)任評價(jià)的過程等。不同的學(xué)術(shù)組織針對不同問題提出科技評價(jià)改革的不同方面，拼湊成一個(gè)比較完整的“圖譜”。最后，這張改革“圖譜”被冠以“負(fù)責(zé)任科研的評價(jià)”（responsible research assessment）的標(biāo)識(shí)，逐步成為科技界的共同用語。

（三）科技評價(jià)改革正在從理念層面走向?qū)嵺`

目前，簽署《舊金山宣言》的3000多個(gè)組織正在或者已經(jīng)落實(shí)避免“以刊評文”要求。簽署《改革科研評價(jià)的協(xié)定》的300多個(gè)組織（包括資助機(jī)構(gòu)、高校和科研機(jī)構(gòu)）正在進(jìn)行科技評價(jià)改革試點(diǎn)，并且經(jīng)常組織各種形式的試點(diǎn)經(jīng)驗(yàn)交流。

（四）形成了關(guān)于科技評價(jià)的一些基本判斷

包括對科技評價(jià)正、反兩方面作用，定量評價(jià)與定性評價(jià)之間的關(guān)系，啟動(dòng)評價(jià)的前提條件，以及提升評價(jià)數(shù)據(jù)質(zhì)量的技術(shù)等。這些理性認(rèn)識(shí)對我國有重要啟示意義。

三、國際上的“三評”改革實(shí)踐案例

如前文所述，國際科技評價(jià)改革正在從理念層面走向?qū)嵺`，以下進(jìn)行實(shí)踐案例分析。鑒于我國當(dāng)前科技評價(jià)源于國家“三評”改革文件，在此也分別選擇人才評價(jià)、項(xiàng)目評審和機(jī)構(gòu)評估3個(gè)方面的案例進(jìn)行分析。

比利時(shí)根特大學(xué)人才評價(jià)改革

比利時(shí)根特大學(xué)（Ghent University）較早注意到基于文獻(xiàn)計(jì)量學(xué)方法的定量評價(jià)對研究文化帶來的系統(tǒng)性損害，認(rèn)為定量評價(jià)助長了“發(fā)表在哪兒比發(fā)表什么更重要”的文化。2013年發(fā)布后，根特大學(xué)簽署了《舊金山宣言》。之后，又簽署了《改革科研評價(jià)的協(xié)定》。隨之著手對科教人員晉升評價(jià)等人才評價(jià)進(jìn)行改革。

在學(xué)校管理層和科教人員的共同努力下，2016年11月，根特大學(xué)發(fā)布了《根特大學(xué)評價(jià)研究愿景聲明》，提出科研評價(jià)必須遵守8項(xiàng)原則。2017年進(jìn)一步公布了科研評價(jià)中定量指標(biāo)的使用指南。根據(jù)這2項(xiàng)政策，2018年根特大學(xué)建立了一種全新的教師評價(jià)和晉升模式，重新將“責(zé)任”和學(xué)術(shù)自由還給教授級(jí)教職員。根據(jù)新的評價(jià)體系，根特大學(xué)對教師的評價(jià)不再只看科研產(chǎn)出，而會(huì)從更加定性、綜合且以人為本的視角進(jìn)行評價(jià)。評價(jià)以5年為周期，包括初期的證據(jù)性評價(jià)、中期反饋訪談和末期的訪談式評價(jià)。評價(jià)內(nèi)容包括在研究、教學(xué)、社會(huì)參與度、管理和領(lǐng)導(dǎo)力方面最重要成就的敘述性展示（而非使用可衡量的定量標(biāo)準(zhǔn)），以及未來5年的意向規(guī)劃。

美國國立衛(wèi)生研究院（NIH）項(xiàng)目評審改革

美國國立衛(wèi)生研究院（NIH）簽署了《舊金山宣言》后，著手進(jìn)行項(xiàng)目評審改革，以消除已有評審中存在的量化問題與偏見，同時(shí)適應(yīng)開放科學(xué)的發(fā)展。改革主要包括3個(gè)方面。

（一）修改評審規(guī)則

無論是人員還是機(jī)構(gòu)，評審標(biāo)準(zhǔn)不再是“越強(qiáng)越好”而是“能勝任即可”；如果評審專家認(rèn)為人員或機(jī)構(gòu)能力不足，則需要給出具體說明。新標(biāo)準(zhǔn)的“夠用”原則試圖盡量解決聲望偏見，將關(guān)注點(diǎn)更多地放在研究課題本身上面而非機(jī)構(gòu)聲譽(yù)。

（二）修改項(xiàng)目申請所用的簡歷格式或“專家介紹”

在專家介紹中添加小段篇幅，由申請人簡要描述其最重要的科學(xué)成就，以轉(zhuǎn)移項(xiàng)目評審專家對以往研究論文發(fā)表期刊的關(guān)注度。

（三）出臺(tái)數(shù)據(jù)管理和共享新政策

自2023年1月起，要求每年受NIH資助的30萬名研究人員和2500個(gè)機(jī)構(gòu)中的大多數(shù)在其撥款申請中闡明數(shù)據(jù)管理和共享（DMS）計(jì)劃。DMS計(jì)劃中應(yīng)包括分析數(shù)據(jù)所需的軟件或工具的細(xì)節(jié)、何時(shí)何地公布原始數(shù)據(jù)，以及訪問或分發(fā)該數(shù)據(jù)的任何特殊考慮，并對數(shù)據(jù)共享的任何限制或例外情況說明理由，以促進(jìn)開放科學(xué)發(fā)展。

英國大學(xué)評價(jià)改革

2014年，英國對原有大學(xué)科研評估考核（RAE）體系進(jìn)行較大幅度改革，形成新的科研卓越框架（REF）。相較于以往的評估體系RAE，REF最大的改革亮點(diǎn)在于：

1. 引入了文獻(xiàn)計(jì)量學(xué)評價(jià)指標(biāo)，為同行評議提供參考；

2. 探索了影響力評價(jià)方法，以展示英國大學(xué)研究對社會(huì)的真正影響，強(qiáng)調(diào)科學(xué)研究給現(xiàn)實(shí)世界帶來的利益。由于影響力評價(jià)難度較大，英國為此進(jìn)行專門研究，開發(fā)了針對不同類型學(xué)科科研成果的影響力指標(biāo)。

2014年實(shí)施的REF，在實(shí)現(xiàn)以評估結(jié)果對大學(xué)進(jìn)行資源配置的同時(shí)，也不可避免地將競爭壓力通過大學(xué)傳導(dǎo)至基層學(xué)術(shù)組織，特別是定量指標(biāo)的引入加劇了對教師個(gè)人科研行為的影響。2015年，受英國高等教育基金委員會(huì)委托，以James Wilsdon教授為首的研究組對定量指標(biāo)在REF中的作用進(jìn)行了獨(dú)立評估。研究組發(fā)布了題為《量指標(biāo)潮流》的研究報(bào)告，對使用定量指標(biāo)給出了肯定判斷并提出改進(jìn)建議。

2022年，英國REF的領(lǐng)導(dǎo)機(jī)構(gòu)——英格蘭研究院（Research England）簽署了《改革科研評價(jià)的協(xié)定》，要對REF繼續(xù)進(jìn)行改革，旨在整個(gè)高?？蒲猩鷳B(tài)系統(tǒng)重新建立起一種負(fù)責(zé)任、包容、多樣的科研文化。由此，英國啟動(dòng)了“未來科研評價(jià)計(jì)劃”，旨在對剛實(shí)施完畢不久的REF 2021未來變革方案進(jìn)行更深入研究。

四、國際上“三評”改革實(shí)踐的主要經(jīng)驗(yàn)

（一）理論與實(shí)踐結(jié)合

試點(diǎn)機(jī)構(gòu)充分利用科技評價(jià)10年改革期間國際科學(xué)共同體構(gòu)建的一系列理論和方法體系指導(dǎo)實(shí)踐，理論與實(shí)踐緊密結(jié)合。

（二）保持與其他試點(diǎn)機(jī)構(gòu)的交流共享

試點(diǎn)機(jī)構(gòu)一般會(huì)簽署《舊金山宣言》和《改革科研評價(jià)的協(xié)定》，置身于試點(diǎn)集體之中，與科技評價(jià)研究的學(xué)者以及其他試點(diǎn)機(jī)構(gòu)保持互動(dòng)交流。

（三）在評價(jià)方法上保持不斷創(chuàng)新和完善，而不奢望一蹴而就

例如，REF自2008年提出引入科研影響力評價(jià)，期間花費(fèi)了大量的人力和時(shí)間研究開發(fā)影響力的內(nèi)涵、評價(jià)標(biāo)準(zhǔn)、評價(jià)方法、專家手冊等，直至2014年才應(yīng)用于實(shí)際評價(jià)之中，而且現(xiàn)在依然在研究和完善之中。

（四）試點(diǎn)機(jī)構(gòu)體現(xiàn)了充分的改革自主性

各機(jī)構(gòu)響應(yīng)國際科學(xué)共同體的倡議啟動(dòng)改革，是出于自身在理念上的認(rèn)同和實(shí)際需求，完全是自主的，而不是源自政府行政要求。

四、結(jié)論與啟示

結(jié)論

國際科技評價(jià)10年改革值得總結(jié)的內(nèi)容很多，本文主要從與我國科技評價(jià)改革比較角度，得出3個(gè)方面結(jié)論。

（一）國際科技評價(jià)改革目標(biāo)與我國相似

本次國際科技評價(jià)改革的核心目標(biāo)有2個(gè)：

1. 破“以刊評文”，這與我國破“四唯”之中破“唯論文”的導(dǎo)向是一致的；

2. 立對經(jīng)濟(jì)和社會(huì)貢獻(xiàn)的“影響力”評價(jià)，這與我國強(qiáng)調(diào)科技成果的五元價(jià)值是一致的。

但是，我國破“四唯”中破獎(jiǎng)項(xiàng)、學(xué)歷、職稱、人才“帽子”等，主要是我國特色。對于國際上的傳統(tǒng)科學(xué)強(qiáng)國而言，科技獎(jiǎng)項(xiàng)、人才帽子等基礎(chǔ)性評價(jià)問題并不明顯。

（二）國際科技評價(jià)改革路徑與我國差異較大

國際科技評價(jià)改革主要由科學(xué)共同體主導(dǎo)，采用自下而上的方法，通過科學(xué)共同體發(fā)布宣言、倡議、評價(jià)方法體系、簽署承諾協(xié)議、實(shí)踐案例總結(jié)與分享等方式推動(dòng)，政府很少直接介入。相反，我國更多采用自上而下方法，政府在科技評價(jià)改革中發(fā)揮主導(dǎo)作用，通過發(fā)布改革的政策文件和要求推動(dòng)改革，科學(xué)共同體的作用發(fā)揮有限。

（三）國際科技評價(jià)10年改革經(jīng)驗(yàn)值得借鑒

1. 科技評價(jià)是管理的需要，也是一把“雙刃劍”，沒有充足理由和充分準(zhǔn)備不要輕易啟動(dòng)科技評價(jià)。

2. 科技評價(jià)離不開同行評議，難以通過簡單量化方法評價(jià)。但是，量化方法如果使用得當(dāng)，能夠有效提升同行評議質(zhì)量。

3. 量化方法有好壞之分，在實(shí)際評價(jià)中需要辨別與選擇好的量化方法，避免使用不好的量化方法。

4. 需要關(guān)注支撐定量評價(jià)的數(shù)據(jù)質(zhì)量及其來源的可靠性，沒有數(shù)據(jù)質(zhì)量及其來源可靠性保障，光是指標(biāo)好看沒有用。

5. 通過使用唯一標(biāo)識(shí)符（如ORCID），將科研產(chǎn)出、參與的科研活動(dòng)等與科研人員綁定，在保證定量評價(jià)數(shù)據(jù)質(zhì)量的基礎(chǔ)上方便查尋獲取，已經(jīng)成為國際科學(xué)共同體越來越普遍的做法。

啟示

以上通過中外比較得出的結(jié)論，對我國科技評價(jià)改革有許多啟示，本文重點(diǎn)論述4個(gè)方面的啟示。

（一）分類分步破“唯”

評價(jià)改革要明確責(zé)任主體和先后次序。目前我國的“四唯”中，“唯”要分類分步而破。

1. 嚴(yán)重性不同。“唯論文”“唯獎(jiǎng)項(xiàng)”“唯帽子”比較嚴(yán)重需要重點(diǎn)關(guān)注，“唯學(xué)歷”和“唯職稱”也是問題但影響面較小。

2. 責(zé)任主體不同。“唯論文”的責(zé)任主體主要在科學(xué)共同體，這和國際科技評價(jià)改革一致；“唯獎(jiǎng)項(xiàng)”“唯帽子”責(zé)任主體主要在政府，國際科技評價(jià)改革沒有這方面的問題。這2個(gè)責(zé)任主體的問題是交互作用的，但是，有先后次序?！拔í?jiǎng)項(xiàng)”“唯帽子”本質(zhì)是獎(jiǎng)項(xiàng)和“帽子”過多，需要政府做減法，為科學(xué)共同體破“唯論文”、安心產(chǎn)出原創(chuàng)成果提供基礎(chǔ)性管理制度保障。“唯論文”則需要借鑒國際科技評價(jià)改革經(jīng)驗(yàn)，更好地發(fā)揮科學(xué)共同體自下而上改革的主動(dòng)性，形成先行先試、敢為天下先的局面。

（二）慎重啟動(dòng)評價(jià)

評價(jià)是一把“雙刃劍”，國際科技評價(jià)改革提倡不要輕易啟動(dòng)科技評價(jià)，這與我國科技評價(jià)改革節(jié)奏有相通之處。事實(shí)上，在破“唯”之前，我國首先開展的是“減量”改革，要求各單位清理過多過頻、重復(fù)交叉的評價(jià)。但是，近年來減量風(fēng)頭過去后，評價(jià)沖動(dòng)又有釋放苗頭；加上國家新出臺(tái)的“全面實(shí)施預(yù)算績效評價(jià)”的要求在落實(shí)中并沒有和原有科技評價(jià)協(xié)調(diào)好，評價(jià)頻次又多起來了。對此，需要通過建立對評價(jià)進(jìn)行評價(jià)的機(jī)制約束評價(jià)沖動(dòng)、規(guī)范評價(jià)制度和方法，而不僅僅停留于開展減量改革的階段性運(yùn)動(dòng)。

（三）用好量化評價(jià)

作為同行評議的輔助方法，量化評價(jià)在本次國際科技評價(jià)改革中得到了重點(diǎn)關(guān)注，形成了較多共識(shí)。鑒于我國過去量化評價(jià)過于極端，在這次破“四唯”改革中，有一派觀點(diǎn)主張完全放棄定量評價(jià)，回歸同行評議。結(jié)合我國國情，這是不可取的。筆者曾經(jīng)提出定量、定性相結(jié)合的BRIDGE理論，主張通過表單化方法將數(shù)據(jù)材料和證據(jù)的隱性知識(shí)顯性化，從而對同行評議起到支撐和約束作用。這一方面是將我國已有量化評價(jià)探索做到物盡其用，另一方面可能在定量定性結(jié)合評價(jià)方法上形成改革突破，并為國際科技評價(jià)改革作出中國貢獻(xiàn)。

（四）積極融入國際科學(xué)共同體

目前，我國簽署《舊金山宣言》的科研機(jī)構(gòu)、高校和科學(xué)家個(gè)人還比較少，與我國龐大的科學(xué)共體還不相稱。同時(shí)，我國還沒有科研機(jī)構(gòu)和高校加入國際《改革科研評價(jià)的協(xié)定》之中。這種情況與我國作為后發(fā)國家還存在一個(gè)逐步融入國際科學(xué)共同體的過程有關(guān)，也與我國科技評價(jià)改革由政府主導(dǎo)的特點(diǎn)有關(guān)，甚至近幾年的疫情也有較大影響。作為國際科學(xué)共同體的一部分，我國應(yīng)該更加積極地融入國際科技評價(jià)改革。通過與國際科學(xué)共同體相互借鑒和促進(jìn)，一方面可以更好地激發(fā)我國科學(xué)共同體在科技評價(jià)改革上的主動(dòng)性，另一方面可以增加科學(xué)共同體之間的理解與信任，從而有利于加強(qiáng)全方位國際科技合作的紐帶。

徐 芳  中國科學(xué)院管理創(chuàng)新與評估研究中心副主任，中國科學(xué)院科技戰(zhàn)略咨詢研究院創(chuàng)新研究員，科技管理國際聯(lián)盟（INORMS）科技評價(jià)工作組委員。主要研究方向?yàn)榭萍脊芾砼c評價(jià)、科技政策學(xué)等，主要負(fù)責(zé)中國科學(xué)院研究所評估工作。

李曉軒  中國科學(xué)院管理創(chuàng)新與評估研究中心主任, 中國科學(xué)院科技戰(zhàn)略咨詢研究院研究員。《科研評價(jià)的舊金山宣言》（DORA）執(zhí)行委員。主要研究領(lǐng)域?yàn)榭蒲泄芾?，涉及科技評價(jià)、科技人力資源管理、科研經(jīng)費(fèi)管理等研究方向。

文章源自：

徐芳, 李曉軒. 國際科技評價(jià)改革十年評述. 中國科學(xué)院院刊, 2024, 39(1): 121-130. DOI: 10.16418/j.issn.1000-3045.20231217002