(二)专业评价机构:应运而生
当同行评议这种带有明显主观性、经验性的判断在恶化的学术生态之下无法履行神圣的评价职责之时,学术界对公正、客观评价的呼唤之声渐渐响起。在这样的情境下,专业评价机构应运而生。
“不断问世的专业评价机构都有着一些共同的特征:其一是几乎均由从事文献情报工作的人员组成,除了其本专业以外,不是任何学术共同体的成员;其二是在明里或暗里都以为政府服务或被政府认可为主要目的;其三是通过采集各种形式数据,以量化评价的客观、公正、公平相标榜;其四是其主打产品即对学术期刊进行分等分级(如所谓顶级期刊、权威期刊、核心期刊等)的排行榜和排名表。尽管专业评价机构的第一个特征就决定了它不可能是学术评价适格的主体,直接采信这样的机构的评价结论已完全违背了只有同行专家才是最合适的评价主体这一学术评价的基本原则,但后三个特征正是行政权力部门最需要的,在同行评议痛遭诟病之后,专业评价机构终于得到了行政权力部门的青睐而上位。”
①客观地、历史地来看,最早的专业评价机构问世之初,并无意颠覆在资源分配领域同行专家评价的权威地位,而只是为图书馆订阅期刊作适当的引导。
②当同行评议痛遭诟病,学术界和行政管理部门迫切需要新的评价替代产品之时,专业评价机构的产品恰逢其时地进入了人们的视野,定量评价的“客观”、“公正”、“公平”和排行榜的清楚简单、童叟无欺让人们看到了希望。其实,除了排行榜外,评价机构都还拥有自己的数据库,但因不够直观、使用复杂而被各方有意无意地忽略了。对于行政权力部门来说,以排行榜为标志的评价机构产品不啻提供了一个屡遭诟病的同行评议的替代产品,这样的排行榜在行政权力部门组织或主导的评价实践中的直接应用,事实上使其成为一种独立的评价而存在,并得以与同行评议分庭抗礼,共享学术评价权力。至于采信哪一种评价,则取决于行政权力部门。当然,从事实上的独立到理论上的成立,再到为各界所承认,还要有一个过程。
三、分裂的评价:对峙
(一)两种评价理念和两个评价主体
在一个开放时代,学术评价主体和方法的多元是毋庸置疑的。多主体的评价是评价者个人意志的表达,某个具体评价方法(比如量化分析)也不是某个评价主体的专利,至于评价结论,往往是对同一评价对象,褒扬、商榷、否定的意见都可能同时存在,主体的多元与方法和意见的多元同时存在,是多元评价的显着特征。正是这一特征使多元评价难以为行政权力部门直接采信,行政权力部门主导的学术资源分配需要的是一锤定音的评价。这样的评价,既要博采众长,又要对评价对象有准确的定性和预判(这更多地取决于评价者自己的判断),还要使人信服。这就是权威的体现。显然,要成为这样的权威,专业性是首要条件。因此,学术共同体通常被视为最合适的评价主体,之所以如此,是因为其专业性是外行无可企及的。
但是,专业评价机构的问世对这一关于评价主体的传统理念提出了挑战,并昭示了新的评价理念:第一,学术评价不再是单纯主观的经验判断,而是可以有精确计量的客观标准的;第二,这个客观标准可以通过各种形式数据的搜集、综合、运算等数据处理的技术手段得到具体落实,这一号称为“量化分析”的过程即为定量评价;第三,定量评价是一门专业技术,需要具有文献情报学专业素养的人来从事和完成;第四,由文献情报学专业人员为主体的专业评价机构是从事定量评价和结果发布的最合适人选。换言之,专业评价机构因擅长于定量评价也应该是得到认可的权威评价主体。③这样的理念在评价机构的反复宣传之下,渐渐深入人心,成为一种“常识”而为学术界、期刊界和管理部门广为接受。
(二)两种评价标准和两类学术评价
如果仅从评价主体的身份来看,专业评价机构似乎远不足以与同行专家抗衡,因为权威评价主体必须具备高度的专业水准。评价机构的文献情报学研究人员无法越过专业的边界而深入到内容层面对其他学科的学术成果进行评价,这是他们难以弥补的缺陷,也是他们无法得到各学科专家认可的原因。因此,他们要争夺评价权并成为权威的评价主体,只能另辟蹊径。他们依靠的是另外一种“专业性”,即把文献情报学的评价标准泛化为具有一般意义的学术评价标准。换言之,就是要抽去各学科专业的特殊性而以形式数据这样的并不直接反映学科内容的标准作为普遍标准。这样一来,他们不仅可以为各学科制定客观的量化的评价标准,而且也成为这一标准的唯一制定者和实施者,并以此确立其评价主体的身份。
在评价机构确立其评价主体身份的同时,一个容易被忽略的事实发生了,那就是排行榜对评价标准的替代。如前所述,科学的评价离不开科学的标准,而标准的制定恰恰是评价权力的体现。
同行评议的标准在很多时候只是参与评价的专家心中的那杆秤或那个天平,存在着相当大的主观性;定量评价的标准则是各种形式数据和可以验算的公式,一般被认为是客观的;又由于数据和公式具有一定的文献情报学专业性,非一般学者所熟知,据这个文献情报学标准计算出的排行榜遂直接被视为了评价的标准性结论。这一标准的替换对学术评价影响至深。
由此可见,以排行榜为标志的定量评价产品一旦被引入资源分配的评价中,首先是评价机构的身份发生了变化,由图书情报专业的研究机构变身为对所有学科进行评价的“合法”机构;其次是评价理念的变化:定量评价已有了一套完整的评价理念而使其得以成为独立的评价种类;再次是评价标准的变化:标准不再是主观的、复杂的,也可以是客观的、简单的,具体体现就是排行榜;最后则是评价本身的变化:权威的评价不仅限于同行评议这一种,定量评价同样可以成为独立存在的权威评价。
在经过了如此这般的演变之后,量化分析实际上已从评价方法之一种上升为可以独立完成和独立存在的评价种类---定量评价,而原本可以采取包括量化分析方法在内所有合适方法的同行评议则被与单纯的定性分析划上了等号,成为定量评价之外的另一个评价种类---定性评价。同行专家不再是唯一的权威评价主体,专业评价机构跻身于权威评价主体的行列。这样的变化为评价机构对评价权力的获取铺平了道路。后起的评价机构,无不直奔评价权力而去,而不再满足于其本学科的研究。
四、分裂的评价:后果
(一)定性与定量对峙下残缺的评价
所谓权威评价,实则意味着唯一、排他和不容置疑,这是涉及资源分配的权力运作不可或缺的。显然,这样的评价只能出于一个评价主体。但是,自从专业评价机构跻身于评价主体的行列,并得到行政权力部门事实上的认可及在其主导的评价中的广泛运用,自从评价标准有了主观和客观之分,两个评价主体和两个评价标准的并峙终于撕裂了原本统摄于同行专家的学术评价。
评价的分裂实际上是异化了的同行评议垄断评价权造成的种种不公平、不公正的必然结果,当人们宁可相信不懂本专业的评价机构依凭形式数据而制作的排名表,也不愿相信本专业专家的评价之时,评价的权力即已发生了转移,由同行专家转向了评价机构。但是,分裂后的定性评价和定量评价都已变成了单一方法的简单评价而残缺不全。同行评议不仅未因评价的分裂而有所改善,相反因缺失了量化分析的方法而在原先的泥淖中越陷越深,大有被完全逐出评价领域之趋势;而学术评价也远非排行榜那样简单,定量评价“客观”、“公正”、“公平”的神话已遭到了越来越多的质疑。限于篇幅,不再展开论述,只是指明一个事实:现今就连评价机构也都不再宣称其产品能够完全替代同行评议,尽管大多仍坚持其定量评价应该独立存在的理由。
(二)残缺的评价与难以遏止的学术不端
真正动摇评价机构权威地位的是大量学术不端行为背后定量评价的影子。量化分析的一个基本前提就是数据的客观,即不能受到任何人为的干扰,但在人们熟悉不涉及学科内容的形式数据的由来后,在数据上弄虚作假并不是难事,面对利益的诱惑,在突破学术操行的底线之后,以数据造假为标志的学术不端行为就会泛滥开来。可见,学术生态的恶化使得分裂后的学术评价,无论是同行评议还是评价机构的定量评价都无可避免地陷入了危机。
以上我们简要分析了学术评价分裂的缘起、过程、现状和后果,从中不难看出权力的任性所造成的恶果。如果说应用于资源分配中的评价权力是不可避免的,那么,对权力的监督和制约就是不可或缺的。正是缺失了对评价权力的监督和制约,才造成了对评价权力肆无忌惮的角逐,最终撕裂了评价,使评价走入了歧途。评价问题的解决之道在于对评价权力的有效监督和制约,让定性评价和定量评价都回归其方法的本位,让因角逐权力而人为造成的分裂乃至对立不复存在,如此,科学和合理的评价机制才有望真正建立起来,而这一切皆有待于学术民主体制这一基础的建立。
评价是一种观念性活动,是一种在观念中建构价值世界的活动。〔1〕这使得评价本身一直处于争议和诘难之中,社会科学评价也不例化。而所谓科学上合理,主要在于尽我们所能做的一切,使科学的研究传统获得最大的进步,同样,这一思路表明,合理性即在于接受研...
1引言目前国际上较有影响的科研评价制度大致可分为三种模式。第一种是评价与科研经费没有直接的联系。以荷兰国家公共资金科研评价系统和德国科研基金会经费评级为典型。第二种是与科研经费分配挂钩的科研评价模式,由评价结果决定科研经费的分配。主要体现...
同行评议(PeerReview)在科研评价实践中有许多同义词,如专家鉴定(Refereeing)、价值评议(MeritReview)、同行评价(PeerEvaluation)、同行审查(PeerCensorship)、同行判断(PeerJudgment)等[1],我国2002年12月颁布的《国家自然科学基金项...
同行评议是科学界对科研项目和成果进行评审、评价的一种方法[1],被广泛用于科研管理。进入21世纪以来,随着我国科技管理体制的改革和制度创新,如何进一步完善评价体制、建立公平公正的学术环境和创新机制等问题已经引起广泛的重视。龚旭分析并指出了影响...
关于学术评价中的同行评议问题已有一些讨论,这里有必要继续讨论怎么样把同行评议做得更好的问题。我们说,科学的学术评价是社会需要,是学术发展的需要。随着社会科学、技术进步与经济、文化的发展,有大量的科学研究成果不断涌现。由于人们时间、精力、财...
学术评价的方法很多,但都不尽如人意,现在国内外的主流观点是虽然同行评议存在不少缺陷,但仍然是目前最好的评价方法,应该把同行评议与文献计量等方法相互补充,完善同行评议方法。笔者则通过揭示同行评议法的根本缺陷,指出存在根本缺陷的方法是无法用完...