美国STAR METRICS项目框架、实施进展及对我国启示

　　1、背景介绍

　　科学政策的首要目的,一是如何确保得到公共资金支持的科学研究诚信,二是如何确保此类科学研究的产出率。联邦政府投资于科学,其产生的益处或者价值是什么这个问题在美国所有时期的科学政策中一直存在。

　　19世纪80年代,这个问题关注的是受资助研究的经济价值。但是经历20世纪70年代后期的经济不振之后,政治家开始聚焦于怎样提升受联邦资助的科学研究所产生的经济结果,即产出率。同时,随着科学变得不那么特殊,而且随着科学变得越来越同公共政策的其他领域一样,美国科学研究机构与其他所有机构一同都归入了1993年美国国会颁布的《政府绩效与结果法》(GPRA)的适用范围之内。

　　GPRA法案以立法的形式确立了对政府的行政机构和科研机构进行绩效评估的制度,旨在提高绩效,加强管理。

　　GPRA法案的颁布实施有其历史的延续性。

　　20世纪60年代,美国曾有《项目、计划和预算系统》,它重点强调项目管理和预算的计划性。

　　70年代,它被目标管理(Management by Objective)和零基预算(Zero-Base-Budget)所取代。

　　80年代,在目标管理和零基预算的基础上,美国政府在预算管理中更加强调三个动机:一是提高效率,二是质量管理,三是目标管理。如何更好地提高效率如何更好地测量效率和效果这是美国政府颁布实施GPRA的重要原因。由此可见,美国政府对于联邦科研机构的管理理念是将科技作为生产力来进行管理的。

　　科学政策是科技政策的一部分。以往的美国科技政策研究缺乏足够的系统性和科学性,难以支撑政府做出最佳的科技投资决策,因此联邦政府于2005年提出了发展科技政策方法学(Science of Science Policy,SoSP)的倡议,将科技政策研究作为一门新兴交叉学科发展,重点是开展定量化、可视化、逻辑化的方法和工具的研究,搭建科技数据的挖掘和展示平台,将SoSP作为建立美国政府“基于证据的决策系统”的重要举措。

　　SoSP致力于为政府科技政策提供定量化的数据基础、方法和工具,帮助政策制定者更好地理解科技创新活动的规律,并开展对科技事业的评价。

　　SoSP在中观层面的一个重要研究主题就是科技投资的效益是怎样的2008年9月以来,席卷全球的金融危机爆发,美、欧、日等主要经济体陷入全面衰退。经过美国国会参议院和众议院内部激烈辩论以及国会与奥巴马政府多次的协商后,基于凯恩斯主义经济学理论,2009年2月13日美国第111次国会上参众两院通过了总额为7 870亿美元的一揽子刺激经济复苏方案,即《2009年美国复苏与再投资法案》(The American Recovery and Reinvestment Act of 2009, ARRA)。

　　ARRA涉及的7 870亿美元中有约76亿美元直接投资于科学研究。

　　Ehrenberg R.和Smith R.采用生产函数模型研究了科学投资如何产生就业岗位的问题。Goldston D.则指出,联邦政府投资于科学是基于科学研究可以很快产生更有竞争力的公司和更多更好的工作岗位。例如,美国信息技术与创新基金会(ITIF)的一份报告指出,200亿美元的科研投入可以每年新增(维持)约402 000个工作岗位。

　　Mervis J.和Hand E.指出,金融危机中美国联邦政府投资科学研究可以促进经济增长以及就业岗位的创造。

　　ARRA法案中76亿美元直接投资于科学研究便是基于这一理念。此外,奥巴马总统的竞选承诺之一就是:使政府工作流程合理化、削减政府开支、提高政府工作效率。由于GPRA、ARRA方案的要求及其竞选承诺,奥巴马政府面临向公众展示ARRA中用于科学研究的资金如何对美国经济社会产生影响,特别是如何保留并创造工作机会及促进经济复苏的压力。

　　根据GPRA法案和ARRA法案的要求,为了满足向公众展示科学研究的资金如何对美国经济社会产生影响的需要,在SoSP框架下,美国联邦政府发起了STAR METRICS项目,旨在通过联邦政府和研究机构之间的合作,创建跨部门共享的数据库以及数据展示工具,从而对联邦R&D投入的影响从定量角度进行展示与评价。

　　2、美国STAR METRICS项目基本情况

　　STAR METRICS是“美国再投资中的科学与技术—测度研究在创新、竞争力以及科学上的影响(Science and Technology in America’s Reinvestment-Measuring the EffecT of Research on Innovation, Competitiveness and Science)”的简称。此项目在美国科技政策办公室(OSTP)指导下,由美国国立卫生研究院(NIH)和美国国家科学基金会(NSF)共同牵头负责,其目标是由联邦政府部门和资助机构与大学合作开发一个基于实证的框架来测度科研投资的效果并向公众展示科研投资的收益,并组织大学和科研资助机构共同构建一个支撑该框架的开放式的数据基础。正如美国科技政策办公室(OSTP)主任John P. Holdren所指出的:“有必要用可靠的证据展示美国在研究与开发活动上的投资所获得的收益,STAR METRICS就是其中重要的组成部分。”

　　首先,STAR METRICS将创造一个跨部门的机制对联邦资金资助的研究机构的科学家以及支撑人员的人数做出解释;其次,STAR METRICS将基于这些信息,构建科技对经济效益影响的测度方法(如就业岗位创造),更好地测度科学研究成效(如通过引用和专利来测度新科学的产生和接受),以及测度科研投资的社会效益(如公共健康方面);第三,STARMETRICS将开发和扩展现有的研究工具,同时将资助机构和受资助方的负担降至最低。在项目进行的过程中,各方面的利益相关者将对项目进展的成效不断进行评估。值得一提的是,STAR METRICS项目还有一个特色是在初期阶段,是由PI与大学相关人员自愿报名参加并形成了项目工作组。

　　STAR METRICS项目的产出形式包括三类:一是科学投资在就业岗位的保留和创造方面的标准测度方法;二是科学投资在对经济、科学和社会的长期影响的系统、标准和有效的测量方法;三是形成科技政策方法学研究共同体。STAR METRICS项目的终极目标是构建一个成熟的研究领域、联邦政策层面成熟的分析工具集合(将科技政策提升到和税收政策一样的层面)、构建科研资助机构和大学共享的科研管理数据平台以及科技政策研究者共享的政策研究数据平台。

　　3、 STAR METRICS项目框架

　　STAR METRICS项目是个多阶段的项目,将在不同时期随着利益相关者需求的变化而变化,包括先期启动的一个试点项目(STAR Pilot Project)。

　　3.1项目框架

　　目前,STAR METRICS项目计划分为两个阶段,第一阶段重点关注科研投资如何创造就业岗位;第二阶段则重点关注科研投资更广泛的影响。先期启动的试点项目则旨在通过现有的科研资助部门、科研管理部门现有的数据,来反映联邦科学投资在经济、社会以及科学上的成效。试点项目并不能针对ARRA法案中科学投资进行评价,但是从长期来看,对STAR METRICS项目的可行性和价值具有参考意义。

　　STAR METRICS项目框架见图1。

　

　　STAR METRICS项目在成功实施了试点项目(Pilot Project)的基础上,大学和科研资助机构上报相关的科研管理数据,由大学、科研资助机构和STAR METRICS项目组协同工作,进行数据处理,并形成不同的分析报告,分别反馈给PI、大学和科研资助机构。

　　3.2第一阶段:重点关注科研投资如何创造就业岗位

　　STAR METRICS项目的第一阶段旨在开发统一的、可审计的、标准的基于科研机构现有数据的测度科学投入在就业岗位创造方面的指标。第一阶段收集的数据不涉及到个人。作为一个自愿参加的项目,STAR METRICS项目对参加的科研机构来说并不难。STAR METRICS项目团队与科研机构协同工作,在项目的每一个步骤上提供信息、指导和支持。

　　第一阶段的若干环节见图2。

　　

　　第一步:与科研机构的初步信息沟通。STARMETRICS项目的第一个步骤是组织一次介绍性的会议,一般采用网络或视频会议的形式来向科研机构介绍STAR METRICS项目的基本情况以及参与此项目的要求。会议一般持续1个小时左右,会上将讨论项目的若干细节,包括需要采集哪些数据以及数据采集的过程和基于这些数据将产生的报告模板。科研机构的代表应包括主要的IT技术人员、财务代表和人力资源代表,最好有负责科研的部门领导参与。

　　第二步:科研机构决定参与。第一次沟通会议之后,科研机构和美国国立卫生研究院(NIH)(NIH是STAR METRICS项目的数据管理机构)之间签署一份理解备忘录(MOU)。在此过程之中,还可以额外召开若干次技术会议,来讨论需要收集的数据细节。

　　第三步:科研机构提交样本数据。STAR METRICS项目的第一阶段要求参与的科研机构提供自身科研管理系统中的数据,包括人力资源数据、间接成本数据、供应商数据以及子课题数据。

　　STAR METRICS项目团队和科研机构一同提交季度基线数据,不同的科研机构的数据时限可以长达7年或短至2个季度,多年的数据可以在分析报告中展示出长期的趋势。样本数据的详细信息通过数据字典的形式给出,同时STAR METRICS项目组还提供技术手册来规范提交数据的细节。

　　STAR METRICS项目第一阶段需要的数据包括:项目信息、个人信息、项目直接费用情况、采购信息以及子课题信息等。以项目信息为例,数据字典给出了项目信息中包含的要素(字段)以及该要素(字段)的具体定义,见表2。

　

　　第四步:STAR METRICS项目团队提供反馈信息和报告。一旦拿到科研机构的样本数据,项目团队便对这些数据进行深入分析,并提供针对就业岗位创造和保留以及与上一节度的变化情况报告。此外,项目团队还将对提交数据的结构进行分析,并提供如何更好地提交数据的反馈信息。

　　第五步:科研机构提交近期和历史数据。当科研机构确认样本数据格式以及报告的模板符合自己的需求,科研机构就需要提交尽可能多的季度数据。为了使项目团队更好地分析这些数据,科研机构最好提交季度数据。

　　第六步:STAR METRICS项目团队创建季度报告。此步骤旨在处理纳入STAR METRICS数据库的信息,生成相应报告并反馈给研究机构。STARMETRICS项目团队将提供季度报告,这些报告中包括一系列关于联邦科学投入产生的直接就业岗位。

　　同时,STAR METRICS项目团队还提供额外的报告,这些报告含有联邦科学投入中的子课题、采购合同以及Overhead等支出产生的就业岗位的估计值。这些报告都会提交给研究机构来征求意见。

　　3.3第二阶段:重点关注科研投资更广泛的影响

　　STAR METRICS项目的第二阶段旨在开发用于测度联邦科学投资在科学知识、社会效益、劳动力产出以及经济增长等方面的影响。对科学知识的影响主要通过公开出版物和引用数量方面的指标来表达;对社会效益影响可以通过构建健康指标以及环境影响因子等方式表达;对劳动力产出的影响可以通过学生流动和招收等方面表达;对经济增长的影响则可以通过跟踪专利以及新公司的创建和发展路径等表达。

　　4、项目进展情况及未来展望

　　4.1进展情况

　　目前,美国STAR METRICS项目整体上还处于第一阶段,其发展历程如下:　2009年7月,STARMETRICS试点项目开始,有7所大学自愿参加,分别为University of Texas at Austin、University of Delaware、George Mason University、California Instituteof Technology、University of Alabama和Universityof Massachusetts和Dartmouth。

　　2010年5月,参与机构(Agencies)签署理解备忘录。2010年7月,美国预算管理局(OMB)批准扩展这个项目。到目前为止,超过60个机构参与了STAR METRICS项目,至少还有50个机构表示有兴趣参加。

　　同时,STAR METRICS项目还将吸收美国国家科学基金会(NSF)Science of Science and Innovation Policy(SoSIP)计划资助的若干项目的成果和工具。例如,R&D Dashboard工具是一个科研管理数据的展示工具;基于专利数据制成的地图能够展示美国各州在特定年限内申报的专利数量,资助来源以及专利的引用情况;TOPIC Modeling工具能够抽取NSF资助的项目申请书的研究主题,并对申请书进行关联,有利于识别学科交叉项目。这些成果和工具有利于向公众展示联邦政府科学投入产生的成效和影响,同时也有利于提高科研机构乃至科研管理部门的管理效率,实现奥巴马总统建立高绩效政府的目标。

　　4.2 STAR METRICS项目未来展望

　　STAR METRICS项目未来除了实现第一阶段和第二阶段的目标之外,还会有多种可能应用,从而进一步提高可以提高科技机构的管理效率,并加深科研人员和科技管理人员对科研活动规律的了解。例如,通过STAR METRICS项目平台,可以根据科学家的研究兴趣,将科学家在地图上进行直观展示;通过STAR METRICS还可以更好地理解科学家之间的合作,并进行图形化直观展示。

　　5、对我国科技评价的启示

　　5.1我国科技评价现状

　　近年来,随着我国政府职能的转变和科技管理体制改革,促进了我国科技评价需求的稳定和持续增长。同时,伴随着我国科技计划管理体制改革的深入,评估活动越来越受到各级政府的高度重视。

　　科技评价是指由科技评价机构根据委托方提出的目的,遵循一定的原则、程序和标准,运用科学、可行的方法对科技政策、科技计划、科技发展领域、科技项目、科技成果、科技机构、科技人员以及与科技活动有关的行为和要素所进行的专业化咨询和评判活动。当代科技评价已成为构建科技竞争发展环境的重要基础,成为科技战略管理和绩效管理的重要工具,成为公众理解科技的重要渠道。

　　从近十年来评价指标理论研究的国际发展趋势来看,Geisler从测量理论的角度定义科学技术指标,并分析不同类型科技评价指标(如文献计量指标、专利指标、同行评议等)的测量特征[12]。

　　Keeney和Gregory从多目标决策出发,研究如何有效选择或构建测量目标完成情况的属性(即评估指标)。

　　Roper等则从创新经济学出发,分别根据知识溢出的私有收益和社会收益两个维度,研究事先评估公共资助R&D活动的指标体系。从我国宏观层面的科技资源或科研机构的投入与产出效益评价实践来看,主要是采用定性或定量方法在确定投入、产出指标的前提下进行分析和测算。其存在的问题主要有以下三个方面:一是科技投入与科技产出之间缺乏直观的联系。翟立新、韩伯棠、李晓轩认为,从本质上看,公共科研机构是具有多种投入和多种产出的复杂投入、产出系统,是将科技人力资源和研究开发资本等投入,通过研发过程的知识溢出使之转化成为论文、专著、专利、成果,以及改进的产品和工艺、服务等产出的生产系统。

　　从这个意义上讲,现有研究还不能揭示出产出和投入之间建立明确的函数关系,不能通过模型揭示投入转化成产出的过程。而STAR METRICS项目则通过统计学的方法,试图构建这种函数关系,在科学投入之前就能预测到未来的产出情况。二是难以衡量科技对经济社会的影响。目前我国科技资源投入与产出评价中的产出指标大部分是直接的科技产出,而这些产出对经济和社会的影响,如就业岗位的创造,社会效益等没有涉及。

　　STAR METRICS项目则致力于构建科学投资对经济社会广泛影响的测度方法和数据平台。三是不能直观展示评价结果。现有科技资源投入与产出评价的结果不能通过可视化的工具直观展示给决策者,而STAR METRICS项目则吸收、采用大量的可视化工具,图形化展示评价结果。

　　5.2对我国科技评价的启示

　　美国STAR METRICS项目的实施预示着美国科技评价正在朝着更加偏重数学模型和可视化工具的精细化方向发展。目前,该项目得到了政府及科研机构的广泛响应,正在不断发展和完善,并已经开始显现出成效。“它山之石,可以攻玉”。对我国科技评价来说,美国STAR METRICS项目存在可借鉴之处,主要体现在三个方面:一是关注国家层面科研投资的效果和影响。随着科教兴国等战略的提出,国家逐步加强对科学研究的经费投入,2004—2008年五年间,国家财政科技拨款由1 095.3亿元增加到2 581.8亿元,涨幅达到1.35倍。以中国科学院为例,自1998年知识创新工程实施以来,国家加大了对中国科学院的财政支持与投入。十三年间,由国家科教领导小组批准,财政部会同国家发展与改革委员会核定中国科学院试点经费超过500亿元。在这样的背景下,国家大规模增加财政科技投入是否得到了有效利用未来科研经费管理的重点是继续加大投入还是调整结构科研投资对经济社会产生了什么样的影响这些问题都是经费资助方及经费管理层面亟待了解与掌握的重要问题。二是发展科技政策、科技评价的学科基础(SoSP)。美国将科技政策研究作为一个学科进行发展,根本目的在于提升科技政策研究的科学性,为建立一个基于证据的科技决策系统奠定基础。而我国是一个典型的粗放式管理的国家,科技界决策过程的科学性也有所欠缺,因此对于我国来讲,也需要加大对科技政策、科技评价学科基础的建设力度,吸收行为科学、经济学以及计算机科学等领域专业人才,建立科学研究共同体。此外,我国还应加大科技政策研究的多学科交叉人才的培养力度。三是构建跨部门的科研活动全过程数据平台,并基于此数据平台研发相应的方法和工具。目前,我国属于多元化的科技管理体制,各个管理部门以及科研机构之间的数据缺乏共享的机制和平台,科研管理数据难以共享,从而造成“重复资助”、“一稿多投”等学术不端行为,因此我国也有必要去构建一套类似于STAR METRICS的基于证据的科技决策系统,建立跨部门的科研活动全过程数据平台,同时科技政策的研究也要向基于数据平台、分析模型和展示工具等精细化的方向发展。

　　参考文献:
　　[1]大卫·古斯顿.在政治与科学之间:确保科学研究的诚信和产出率[M].龚旭,译.北京:科学出版社,2010．
　　[2]肖小溪,杨国梁,李晓轩.美国科技政策方法学的发展及对我国的启示[J].科学学研究,2011,29(7):961-964.