毕业论文网
本论文为您写科研项目毕业论文范文和职称论文提供相关论文参考文献，可免费下载。
科研项目学术质量评价关键问题*
摘 要：为进一步提高科研基金绩效,激发我国科研创新力,应推进科研项目学术质量评价.文章通过解析科研项目评价实践与研究中面临的关键问题.包括科研项目评价指标体系设计的复杂性、科研项目社会效益的滞后性和非显性以及交叉学科科研项目评价的困境.认为优化专家遴选机制,实行小同行评审,建立评价指标事实数据库,采用新的评价指标揭示非显效益,确立交叉学科评审组的建立机制可以解决上述问题,并从方法上给出了解决路径.
关键词：科研项目评价；学术质量评价；评价体系
中图分类号：G304
文献标识码：A
DOI: 10.1196 8/tsyqb.1003 -693 8.2016101
Study on the Key Issues of Academic Quality Evaluation of Research Project
Abstract In order to improve the performance of Science Fund and further stimulate the innovation of scientific re-search in our country, the evaluation of academic quality of scientific research projects should be promoted. Its keyproblems he been analyzed, including the complexity of the design of the evaluation index system, the difficulty ofthe lagging and the non-dominant of social benefits and interdisciplinary research project evaluation. It is believed thatthese problems can be solved through the optimization expert selection mechani, implementation of peer review, theestablishment of facts database of evaluation indexes, revealing non-significant benefits by using the new evaluation in-dex, establishment mechanis of interdisciplinary review group.
Key words research project evaluation; academic quality evaluation; evaluation system
1绪论
近年来,随着科研经费投入的大幅增加,人们越来越关注科研产出及其质量.如何对这些科研项目进行学术质量评价,以便调整资助策略,提高科研基金的绩效,同时为科技创新提供适宜的发展环境,协助达成国家规划及战略目标,已成为科研管理中亟待解决的问题.
自然科学基金委员会管理科学部早在1998年就开始对1992年以后资助的管理科学面上结题项目进行“后评估”[1],以此了解基金项目研究进展,掌握资助效果.而我国自然科学基金委员会于2010年开展的国际评估[2]．即对自然科学基金资助与管理绩效进行评价,开创了我国基金整体绩效评估的先河.然而,与发达国家相比,我国国家科学基金绩效评估的建立均起步较晚,还处于由探索向规范过渡的阶段[3].
当前,通过对我国和欧美日等国实践经验的总结与借鉴,学术界和科研管理部门对科研项目评价中存在的问题和改进路径已经逐渐达成共识.普遍认为质量评价应采取定性的同行评审和定量的指标评价相结合的多元评价方式[4]；不断完善．及时更新同行评审专家库是建立评价体系的重要工作；开展国际评审：评价不应过于关注成果数量,而要着重考虑其创新性与影响力；对于不同类型的科学研究,应选择与之相适应的评价指标；基础研究周期长、意义大、见效慢,应探索更为有效的评价方式：对于应用研究,应重视发明专利、成果的应用推广及其创造的经济价值等[5].
然而,如何实现以上设想,成为当前面临的紧要问题或改进评价体系的瓶颈[6].有关研究不是停留在定性探讨和提出建议的层面,就是陷入具体指标的构造与改进等细节研究,或建立一个较为笼统的评价体系的阶段,缺乏对于建立评价体系操作层面的研究.本文详细分析了建立科研项目学术质量评价体系所面临的关键问题,并给出解决路径.
2科研项目学术质量评价面临的关键问题
2.1评价指标体系设计的复杂性
科研项目的质量要素非常复杂,其评价不能仅依靠单一的文献计量指标,还要考虑成果转化和应用价值.因此,科研项目质量评价需要建立一个基于多类型产出的综合评价体系.论文、图书和专利都有专门的公开发行渠道.学术论文是经同行评审的公开出版物,对内容的独创性有严格的要求.专利是科技活动中创新部分和成功经验的提炼.而优秀的出版社对于学术专著的出版也是严格把关的.图书销售量以及一些数据库包含的图书被引情况,其数据也可以用于评价.专利和软件的价值可以用经济收益来衡量.总之,对特定类型的科研成果进行学术评价都有章可循,其研究和实践也比较丰富,尤其是对于期刊论文的评价已经较为成熟.但是如何将一个科研项目中不同类型成果的评价结果进行适当加权,形成可在相同学科领域中进行比较的标准化指标是该评价体系需要着重考虑的问题.
权值分配的复杂性在于两个方面.一是,不同的学科门类,其项目成果类型之间的比重不同.有的学科看重高质量论文的发表,而在另一些学科,更看重发明专利.那么,在这两个学科中,论文与专利的权值分配应该不同.如在信息科学部评估中占有相当分量的“发明专利”指标,在管理科学部评估中则没有采用；二是同一种成果类型也存在设定权值的问题.如会议论文与期刊论文、SCI论文与EI论文均不能等同,且在不同的学科,它们的相对重要性也不相同.因此,无法统一设定不同成果类型之间的权值,必须根据每个学科领域的具体情况而定.
2.2项目成果社会效益的滞后性和非显性
全国科学技术名词审定委员会认为,社会效益是指一项工程对就业、增加收入、提高生活水平等社会福利方面所做各种贡献的总称.而科研项目的社会效益是指科研项目成果对社会有良好的影响,能够推动科技进步,为国家创造更多的财富.有些科研项目成果单从经济角度看收益很小,甚至得不偿失,但它对人类社会发展和进步、精神文明建设等起着至关重要的作用.这类科研项目应该得到国家和社会的大力支持.
科研项目的社会效益具有两个基本特征：滞后性与非显性.滞后性是指项目成果的社会效益需要一段时间后才能显示出来：非显性是指项目成果的社会效益并不能直接显示出来,其效益有时是通过被研究者消化吸收后产生新的科学技术.这两个特征在不同程度上影响了科研项目评价的客观性.但是如果过多考虑社会效益的滞后性,延长结项与学术质量评价之间的时间,则降低了项目管理的时效性.而对于科研项目社会效益非显性价值的测度还是一项空白.
2.3交叉学科项目评价的局限性
交叉学科研究对于科学研究来说特别重要,因为新学科或研究领域往往产生于现有学科交叉重叠的部分,而学科交叉对于解决现实社会问题常常是必需的.科学基金已经成功资助了大量的交叉学科研究,培育了交叉学科研究团队和平台.如于1986年设立的科学基金重大项目,资助瞄准国家优先领域的大型研究项目：于2000年设立的重大研究计划,资助多种项目类型,其中很多由研究者自由选题.这两类资助通常都由多个科学部共同支持,许多是由4—5个科学部共同资助的.
然而,对于交叉学科项目的申报与评价一直令科研人员和项目管理部门困扰.虽然科学基金使用的学科分类代码体系自1986年来经过了5次较大调整,但是调查显示[3],仍然有三分之一的面上项目负责人表示并非一直可以找到合适的学科代码,只是“有时”可以找到,而青年科学基金项目负责人认为找到适合的代码更为困难.不仅项目申请时如此,项目结题鉴定时也遇到同样的问题.如何针对各个交叉学科项目所涉及的学科领域,组建专门的评审组并有效工作,是所有研究理事会都要面对的问题.基金委人员和申请人都表示交叉学科的研究实际上很难获得同行评议的共识.
3科研项目学术质量评价关键问题解决路径
3.1 实行小同行评审,优化专家遴选机制
“选择适当的评价者是评价能否合理最基本、最重要的前提条件.”[7]小同行由于是同一领域的研究者,熟知该领域的学科发展概况和学术思想,并且遵循同一套研究范式,因此他们比外行人更清楚某人或某成果在学术上所达到的高度以及应用前景[8].某个学科门类或学科内部的不同研究领域各有侧重,其成果形式和内容也不一样.由某一研究领域的小同行确定该领域科研项目中不同类型成果产出的权重,并对科研项目的学术质量进行综合评价是最为合适的.
美国已经正式将同行评审纲领作为一项国家信息法令加以颁布.美国科技报告审查和基金评审采取的就是“大学科,小同行”的方式.其国家科学基金会(N)将科技领域分为6大学科门类,对基金项目的内容评审基本是由相关度很高的“小同行”具体执行的.目前,我国评审的实质是大同行背景下的学者声望机制,还未真正实现小同行评审.其弊端显而易见：其一,评审组内大多是学科领域的大同行,其知识结构和研究经验限制了他们在学术评价中的作用,其评价难以客观、准确；其二．评审专家往往比较固定,缺少退出和进入机制,自我更新缓慢,使得评审组的整体气质较为保守,不易接纳新兴研究领域和超前创新成果.
实行小同行评审就需要优化专家遴选机制.目前,国家基金委是基于学者的注册信息来确定其学科领域的.此种方法不但高效、快捷而且成本低.但是也有其不足之处.一方面,专家学者的研究领域不是固定的,可能会随着人事变动、兴趣转移等情况而发生漂移,而学者的注册信息很可能不会及时更新或更新滞后；另一方面,没有合适的退出和进入标准.因此,小同行专家的遴选除了依靠自我登记的方式,还需要有基于科学大数据的推荐系统作为补充和校正.利用科研成果形成的大数据,对其进行挖掘,可视化每个学科大类中的科学共同体,根据专家遴选工作的实际需求调整焦距与视域,确定小同行,标识领域标签,并定时截取科学发展的演化图谱,更新小同行成员及领域标签.这样,既能实现小同行专家的准确推荐,也能为小同行的退出与进入提供依据.这一过程的实现,可以通过自建遴选推荐系统,也可以通过利用一些成熟的数据挖掘软件达成.
3.2确立交叉学科评审组的组建机制
3.2.1允许项目负责人推荐国际评审专家
对于非共识项目,项目负责人最清楚谁是这个领域的小同行.因此,应允许项目负责人自行推荐评审专家,并且可推荐国际同行,以扩大特殊领域的专家选取范围.从英美两国对国家科学基金评审专家的选取中也可以看出,评审委员会中有一定数量的国外专家参与是其评价制度的成功经验之一[9-10].其过程可参考欧美近年来对国际同行评审改进的经验[11],即要求项目负责人提供包含多名评审专家的候选名单,再由科研管理部门商议,从中选出若干名加入到该评审组中,且选取结果保密.其中需要注意的是,除了项目负责人推荐的专家,该评审组中占大多数的专家应由管理部门选取.如此,既能确保评审组中有合适的评审专家,也可避免项目负责人利用自荐机制.
3.2.2增加跨领域评审专家的遴选
可以利用学术交流网络遴选跨领域评审专家,包括引文网络、科研合作网、关键词共现网络等.(1)引文网络记录科学发展的轨迹,它不仅体现科学知识纵向上的积累与继承,也揭示不同学科领域之间横向上的交叉与渗透.因此,该网络可以确切地反应科研工作者在科学知识地图中占据的“桥接”位置；(2)科研合作网直接呈现不同研究机构或不同研究领域的合作,以及合作的规模与影响力；(3)关键词共现网络可及时定位新近涌现出的研究领域与学者.可利用其中一种或融合几种网络进行测度.
跨领域评审专家的筛选过程如下：首先,建立学术交流网络.以引文网络为例,建立以作者为节点的同被引网络、作者耦合网络或作者互引网络；其次,利用网络理论与方法的中介性指标进行测度,得出跨领域专家：最后,当需要组建交叉学科评审组时,可先选取项目所涉学科中的各领域专家,再从跨领域评审专家库中选取对应的跨领域专家.在交叉学科评审组中,跨领域专家不但是该项目的小同行,而且能够在评审组各领域专家中起到知识桥梁作用,促进评审组对交叉学科项目的客观评价.
节点中介性指标可选择中介中心度(between-ness)[12]和媒介角色系数(Brokerage Roles)[13].中介中心度用于测量一个节点在多大程度上位于网络中其他节点的“中间”.中介中心度高的节点位于网络中不同信息流的交路上,对异质资源起到了重要的中介作用,非常适用于识别跨领域专家.媒介角色系数是基于桥理论发展起来的.所谓桥(bridge)是指连接那些不相连接的行动者的结构性位置.媒介角色根据桥连结派系的情况,将代理行为分为5类.有协调同一子群中信息流的“协调人”( coordinator)和“桥接人”(itinerant broker),也有协调不同子群间成员信息交流的“发言人”(representative)、“守门人”( gatekeeper)和“联络人”(liaison).后三种角色是在测度节点中介性时需要考察的.发言人控制本子群信息流,与其他子群交流信息；守门人控制群外信息的流入；而联络人则协调不同子群成员的信息交换,其本身不属于其中任何一个子群.其算法原理很简单,计算网络中每个节点分别“扮演”这几种角色的频数[14].
中介中心度指标偏向于测度节点控制不同信息流的总量,媒介角色系数更注重区分中介的类型.二者在应用中均需先借助因子分析等方法对网络中的研究领域分群,以便确定跨领域专家所涉及的学科.
3.3 建立评价指标事实数据库
由于科研项目的社会效益存在滞后性,很多时候,项目结题时所提交的结题验收报告并不一定能够完全反映科研成果的质量.这意味着,在科研项目结题时进行的绩效评价也并不一定准确和客观.在这种情况下,如果在结题验收时评出“特优”、“优”、“良”、“中”、“差”等级,而此后很难更改的话,显然弹性不足,很容易在客观上导致科研人员鼠目寸光、疲于奔命.鉴于此,马健[15]提出建立科研项目的多次评价制度.认为在结题验收之后的一段时间里,继续打开对已结题科研项目重新评价的大门,更有助于鼓励科研人员目光长远、从容研究.但是,多次评价的评价次数和时间间隔如何确定是个问题,而且过多的评价次数将大大增加人员和经费上的成本.
评价体系既要支持项目结题后的即时评价,也要支持能够全面反映项目成果社会效益的后继评价.兼顾科研管理的便捷性和科研激励的有效性,从根本上解决二者的对立,应建立以“科研项目学术质量评价指标事实数据库”为基础的评价制度.该数据库中记载每个科研项目各学术质量评价指标的历年得分,即不经过加权处理,或时间窗口处理的原始数据.由于该事实数据库中指标数据的历时性和原始性,无论评价制度的时间窗口如何调整,该库都能为科研项目的后继评价以及不同年份科研项目学术质量的纵向比较提供客观、可靠的基础数据,从根本上避免随着评价制度的逐渐成熟和新情况的出现,评价时间窗口发生变动造成的当前评价结果与往年评价结果不可比的情况.
“科研项目学术质量评价指标事实数据库”中的评价指标,如影响力评价指标、创新力评价指标等,从项目结题以后开始每年计算.对于评价时间窗口的设定建议为：(1)项目结题时,成果只要达到结题标准即可结题,无需进行学术质量评价；(2)第一次学术质量评价的时间窗口对于每个学科领域来说应相对固定.根据学科特征,如引文高峰、被引半衰期出现的时间来设定,如生命科学可在结题2年后进行学术质量评价,而管理学的评价应该延后更长的时间,以确保成果的影响力和创新力已经得到较为充分的彰显；(3)学术质量跟踪评价.在常规的学术质量评价结束后,继续利用“科研项目学术质量评价指标事实数据库”,监测各科研项目评价指标的变动情况.如有异常变动,如发现延迟认可(delayedrecognition)的“睡美人现象”[16],可以对评价结果做出实时修正；(4)可根据需要,如以10年为时间窗口,对科研项目的长期社会效益进行评价.
3.4 采用新的评价指标揭示非显效益
既然非显性是指社会效益通过被研究者消化吸收后产生新的科学技术,那么就可以利用科技创新的扩散过程揭示出来.新的评价指标采用大数据思维,不局限于单一的因果关系和线性相关指标的设计,而是利用复杂网络的思想,考察科研项目在创新扩散网络中对每个后继节点的影响.如此,可以衡量科研项目对整个科技领域的影响.近距威望( Prox-imity Prestige)[17]可以成为有效的测度指标.
基于被引量的影响力测度指标,只关注了引文部的直接结构,没有以创新扩散网络的整体结构为背景.为了把影响力的评估范围扩展到间接选择关系,可以计算科研成果的所有直接和间接被引量.就是把直接引用项目成果的文献或与被评估者之间存在中介的文献都纳入结构威望的评估范围.这种方法计算的是项目成果的入域,可以称为影响域(influence domain).对于创新扩散网络中的一个节点来说,人域是指与它存在路径的其他节点的数量或百分比[18].人域越大,项目成果的结构威望越高.
然而,在一个连通性良好的网络中,节点的人域可能包含网络中绝大多数的节点,导致各个节点的人域差别不大.为了解决这个问题,可以限定入域的距离,如与其距离最远不超过2的间接节点,忽略那些间隔了较多中介节点的间接选择关系.实际上,如果在被评估项目的创新扩散路径上相隔较远,则接受创新知识的最终宿点对该项目成果的采纳已经微乎其微了,确实无需计算这些对威望影响很小的节点.
由此带来的问题是,受限入域中邻点的最大距离如何确定.对此缺乏标准,在设定上带有随意性.而近距威望指标解决了这个问题.该指标关注的是被评估项目入域范围内的所有节点,但其强调的是近邻发出的引用关系.认为近邻的引用对其近距威望的贡献要比远邻更大,但是众多的远距引用也有可能起到与单个近距引用相同的效果.近距威望采用加权法,用各条选择关系通达被评估节点的距离作为这些选择关系的权值.距离越远,贡献越小.因此,科研项目所产生的创新与扩散相继发生的非显性社会效益可由近距威望指标来测量.
4结语
本文仅对科研项目学术质量评价体系建立过程中的关键问题进行了研究.试图为科研项目评价真正实现小同行评审、解决跨领域评价难题、不同学科领域评价指标的个性化选取与赋权、揭示社会效益滞后性和非显性提供解决路径.然而,评价体系的建立涉及的内容很多,需要在顶层设计下,分阶段、分步骤推进实施.顶层设计是包括评价目的、评价主体、评价客体、评价方法、评价指标和评价制度以及它们之间的关系在内的逻辑完善、功能衔接的系统设计,实现判断、预测、选择和导向四大基本功能[19].而设计的原则应该仅仅围绕政府资金资助的初衷：(1)引导、协调和资助基础研究与应用基础研究；(2)发现和培养科学人才；(3)促进科学技术进步；(4)推动中国经济与社会发展.而不要让经费资助异化为一种权利的分配.突出其对于过去良好业绩和未来潜力进行奖励与支持的作用.
参考文献：
[1]李若筠．国家自然科学基金委员会管理科学部资助项目评估研究[J].管理学报,2007 (1):5-15.
[2]国家科技评估中心．科学基金资助与管理绩效国际评估报告[R]．2011:9．
[3]龚旭,赵学文,李晓轩,等,关于国家自然科学基金绩效评估的思考[J]．科研管理,2004(4):1-8.
[4]裴雷,孙建军,中国科技报告质量评价体系与推进策略[J]．情报学报,2014(8):813-823.
[5]王艳,贺德方,彭洁,等,发达国家科学基金绩效评估体制及其启示[J]．科技管理研究,2014(9):21-25.
[6]罗彪,杨婷婷,王海风．我国自然科学基金绩效评估框架构建[J]．华南理工大学学报（社会科学版）,2014(4):1-8,28.
[7]叶继元,人文社会科学评价体系探讨[J]．南京大学学报（哲学·人文科学·社会科学版）,2010(1)：97-110,160.
[8]中国社会科学院外事局,美国人文社会科学现状与发展[M].北京：社会科学文献出版社,2001: 377-378．
[9] National Science Foundation. FY 2005 Performance and Accountability ReportII[R].2005:1-86.
[10] Review of BBSRC-Funded Research Relevant to Sustainable Agriculture[EB/OL].[2016-06-05].http://www.bbsrc.ac.uk/tools/download/Welcome.html.
[11] Mulligan A,Hall L,Raphael E.Peer review in a changing world:An international study measuring the attitudes of re-searchers[J].Journal of the American Society for Information Science and Technology,2013 (1):132-161.
[12]Freeman L C.Centrality in Social Networks:Conceptual Clarification[J].Social Networks, 1979,1(3):215-239.
[13] Gould R,Fernandez R.Structures of mediation:A formal approach to brokerage in transaction networks [J].SociologicalMethodology,1989(19):89-126.
[14]宋歌,网络结构视域下的创新潜力指标研究[J].图书情报T作,2014,58(3):64-71.
[15]马健,科研项目评价制度的缺陷及其完善[J]．自然辩证法研究,2010( 10)：120-124.
[ 16] Van Raan A F J.Sleeping beauties in science[J].Scientometrics, 2004(3 ):467-472.
[ 17]NLin.Foundations of Social Research[M].New York:McGraw-Hill, 1976:5.
[18] de Nooy W,Mrvar A,Batagelj V.Exploratory social network analysis with Pajek: revised and expanded (Second Edition)[M].New York:Cambridge University Press,2011:193.
[19]冯平,评价论[M].北京：东方出版社,1995:1-10,57.
科研项目论文范文结:
适合科研项目论文写作的大学硕士及相关本科毕业论文，相关科研项目开题报告范文和学术职称论文参考文献下载。
1、工程项目论文
2、工程项目管理论文
3、医学科研论文
4、项目成本管理论文
6、护理科研论文