大学排名还需改进 以科学态度对待排名结果

文章转载自新华网 作者:《光明日报》记者 宋晓梦

      编者按 大学排名既是高校管理的前沿,也是家长和学子选择学校的依据。但是无论媒体还是学校、家长,对大学排名大多局限于对排名结果的使用和评论,诸如当下媒体都在热炒的“浙大成为黑马”、“清华北大蝉联前二甲”、“某某大学未进前10冤不冤”之类……至于排名的方法、过程是否科学,结果是否可靠,人们往往只看排名机构的名气。但是,日前在中国科学技术信息研究所和全球最大的专业信息服务提供商汤森路透集团联合主办的“国际大学评价研究高端论坛”上,几家国内外大学排名领域中很有影响的机构,都对“以往的大学排名需要改进”这一话题进行了思考。他们的反思和改进,不仅成为论坛中350多位来自全国高校、科研机构的专家以及图书馆管理者关注的热点,同时也为社会各界深入了解大学排名的方法、过程,以科学的态度对待排名结果,提供了启示。

     《泰晤士高等教育》:采用全新体系,改进大学排名

      2009年10月,作为在全球大学排名中极具影响力的《泰晤士高等教育》宣布放弃原来使用的QS评价体系,选择汤森路透作为其年度世界大学排名的独家数据提供商,以优化大学排名评价系统。该刊副编辑菲尔.巴特先生在论坛上表示:“此次转变是因为我们收到了来自业界各方针对先前采用的QS评价方法的众多质疑”。排名波动的幅度过大是广受质疑的问题之一。例如,中国复旦大学的排名就在72到195名中来回变动。究其原因,一些专家认为“同行评议”的调查结果不透明,是受到质疑的一大因素。而过多依赖主观经验的“同行评议”,却在过去QS体系的排名方法中,竟然占有40%的权重!其次,相关问卷的回收率低也严重影响了排名的评价质量。如2008年,德国只返回了182份问卷,印度返回了236份问卷;问卷中的问题设置模糊,导致被访者不能做出准确判断和回答,也影响了基于问卷分析做出的结论的准确性;引文分析也存在着更有利于自然科学领域的问题,因为艺术与人文领域的论文被引用的次数通常相对低于自然科学。

      菲尔.巴特先生说:“尽管存在上述问题,但是大学排名不仅能唤起公众的关注,也能约束大学管理者和政策制定者的行为。因此,我们的目标是打造最有公信力、权威性,且被广泛采信的大学排名。汤森路透集团所拥有的世界权威数据和专业的数据分析能力,将协助我们构建一套新的大学排名体系,并整合历年排名数据,从而优化2010年及今后的大学排名。”

      据悉,《泰晤士高等教育》新体系的亮点包括:

      一、采用联合国教科文组织提供的人口统计资料对目标人群(在大学排名过程中,“目标人群”主要指发表过文章的研究人员)进行精心取样,以大大提高数据和问卷结果的透明度。

      二、采用世界权威的引文数据库WebofScience分析大学的科研产出和影响力。该数据库涵盖了超过1万1千种世界最具影响力的学术期刊和11万种会议论文集。以此取代原来QS体系所使用的不完善的数据库。

      三、拓展了排名涵盖的学科领域。在过去涉及的艺术和人文科学、生命科学、物理学、工程技术、社会科学、五种学科的基础上,又增加了临床和医疗卫生这一学科领域。

      四、将主观色彩相对较强的“同行评议”的权重,从40%,降到20%-25%。

      五、增加了更多的指标:从原来QS体系中的6个指标增加到目前的13个指标,今后会进一步扩展至16个指标。指标的增加有利于进行跨学科比较,有利于不同规模、不同特色的大学或科研机构,在排名中获得更公平的结果。

      中国科学技术信息研究所:排名要先把数据清洗干净

      “加强大学排名的科学性,极为关键的环节之一,是提高排名所依赖的数据的质量。”持这一观点的中国科学技术信息研究所的研究员武夷山打了一个比喻:计算机行当有个术语GIGO,意思是“垃圾进,垃圾出”——如果输入计算机的数据有问题,那么输出的处理结果仍然是有问题的。因此,把源头数据清洗干净是至关重要的。他说:多年来我们中国科学技术信息研究所“中国科技论文统计分析课题组”一直以高度负责的态度对待基础数据,尽量提高用于评价的数据的准确性。如不小心,就可能出现很多问题。举个小例子,台湾有个东吴大学,其英文名称是SoochowUni-versity。因此,东吴大学发表的论文,在数据库中说不定会错误地归到苏州大学头上。

      武夷山说:“遗憾的是,现在研究指标设计与评价方法的人较多,研究数据质量的却相对较少。”他呼吁:所有科学计量学工作者都要舍得在数据清洗上下功夫,以保证排名基础的可靠,这叫做“磨刀不误砍柴工”。

      武夷山的另一个观点是:大学排行中数据的多维表现,远比大学排行的名次更重要。因为“大学排名的结果是个一维排列。这样的排行榜虽然十分有用,但它同时‘淹没’了不少信息。假定某大学被排在第10位,想冲击第9位,需要怎么做呢?排行榜的名次不能给你任何线索,只有回到排行所依赖的指标数据上去,才能看出:下一步更应该抓论文还是抓专利?抓论文数量还是论文质量?”

      那么什么是数据的多维表现呢?他举例说:澳大利亚联邦科学与工业组织,在20世纪90年代初确定国家优先发展领域时,采用了二维图的表现方式:首先,他们将某科技领域取得长足发展与突破的“可行性”与该领域对实现国家目标而言的“吸引力”作为两个坐标轴,根据某领域在图上的位置来判断是否应将其作为优先领域。然后,将“吸引力”分解为“实现程度”和“潜在效益”两个维度,将“可行性”分解为“研发能力”与“研发潜力”两个维度,作进一步的分析。这样,作为被评价对象的每一个科技领域,一旦被“定位”在三张图中的任何一张图上,其今后努力方向就一目了然了。

      武夷山认为,尽管优先领域的选择与大学排名是两个话题,但上述的评价思路与数据表现方式对于大学评价方法依然具有重要的启示意义。

      上海交通大学世界大学学术排名(AR-WU):拟订未来计划

      任何排名都不可能绝对完美,绝对合理,都会存在着争议、局限。然而,目前几乎全球所有主要国家都有自己的大学排名;无论大学以及其他相关者同意与否,排名都是客观存在的--上海交通大学“世界一流大学研究中心”主任刘念才教授的这一观点在论坛上很有代表性。他说:2003年上海交通大学发布了世界上首个多指标全球性大学排名——世界大学学术排名(ARWU),美国、英国、德国、法国,澳大利亚、日本、韩国等国的主流媒体都进行了报道或引用,数百所大学在自己的年报或首页上进行了报道,《经济学人》、《自然》等一批世界顶尖刊物的文章中也进行了正面引用。几年来,上海交通大学世界大学学术排名经历了不断发展和完善的过程,逐渐扩大并产生了分领域的世界大学学术排名、分学科的世界大学学术排名,每年有越来越多的学科被纳入我们的世界大学学术排名的体系之中。为了使排名更加科学,他们拟定了上海交通大学世界大学学术排名在未来的改进计划:

      ——将更多的国际奖项纳入指标体系,争取在每个主流学科内都确定至少一个权威的国际奖项,从而纳入指标体系。

      ——将更多类型的知名学者和杰出校友纳入指标体系。例如:教师中在国际顶级学术会议上做大会发言、校友中在国际知名组织、跨国公司担任高级职位者等等,当然还要研究这些因素在排名中的权重。

      ——将更多社会科学领域研究成果纳入指标体系,例如:著作与书籍。

      此外,为满足不同的需要,上海交通大学的世界大学学术排名还将进一步体现多样化:

      ——对学科特色明显的大学进行分类排名,例如:工程类大学的排名、医学类大学的排名等等。

      ——强调人均指标的排名,例如:人均综合得分最好的大学。

      ——结合大学使命的排名,例如:教学型大学、创业型大学等。——考虑到办学历史和经费的排名。(记者 宋晓梦)