邱均平的个人博客分享 http://blog.sciencenet.cn/u/邱均平 中国科教评价研究院(杭电)院长、浙江高等教育研究院院长(资深教授、博导)

博文

科学计量学、大学评价与科学发展

已有 6647 次阅读 2012-12-28 18:24 |个人分类:学术交流活动|系统分类:人文社科|关键词:学者| 大学, style, 科学发展

20121027~28日,由华中师范大学、武汉大学、中国科学学与科技政策研究会与国际科学计量学与信息计量学学会(ISSI)、国际排名专家委员会(IREG)、《美国新闻与世界报道》(USNEWS)和英国《泰晤士报》共同主办“第七届科学计量学与大学评价国际研讨会”在华中师范大学隆重召开。本次会议进一步贯彻落实“科教兴国”战略,适应我国政府管理部门及社会各界的迫切需要,继续加强国际交流与合作,促进科学计量学与大学评价领域的研究和应用,推动我国评价事业的快速、健康发展和国际化进程。

会议共举行了10场大会专题报告和2个分会场报告和讨论。会议为欧洲、美洲和亚洲等各国的同行专家提供一个横向交流的平台,集中探讨当前科学计量学和大学评价相关的热点和前沿内容,与会代表就科学计量学在评价中的应用研究、科学计量学的理论方法创新和发展、大学评价的研究与发展以及科技评价的理论与方法创新研究等主题进行了探讨和交流。

1 科学计量学的理论与实践

计量学产生至今已走过九十多个年头,从最初的文献计量学、信息计量学,逐渐派生了网络计量学,一直到现在的科学计量学和知识计量学的诞生,都显示了计量学的发展。科学计量学的理论研究和实践研究的不断深入,带来了科学计量学发展的繁荣,促进了科学计量学研究角度和内容的创新。此次会议,与会代表就科学计量学的理论与实践研究进行了深入探讨。

1.1理论研究:大数据、H指数、齐普夫定律、引文分析

国际科学计量学与信息计量学学会主席、比利时工业科技学院教授罗纳德·鲁索教授作了题为《大数据与信息计量学》的学术报告。数据是当下流行的主题,无疑对学术圈和工业圈都会带来巨大的影响。首先,鲁索教授阐述了大数据的起源并总结了解决大数据问题的三个挑战,并介绍了CAP理论和Amdahl法则。数据挖掘和知识表示在多种情况下得到应用。接着,鲁索教授带来了一些最新的有关大数据问题的信息计量学研究,最后指出大数据现象的若干道德问题。他在总结时说大数据是个巨大挑战,其存在导致了数据越多反而越难获得的矛盾,因为要找的特定信息可能淹没在TB级的数据里。然而数据挖掘处理的方法和结论为这个领域的研究提供了广阔的前景,因为大数据促使更多人研究其社会和机构背景。其次,分析科学中的数据(或者也包含引文信息)有助于我们理解知识是如何获取的,知识随时间是如何变化的。数学模型在分析大数据时可能会派上用场,当模型很好地拟合时,可用于预测目的并用于指导政策制定。最后,大数据改变了知识的定义,刻意追求准确和客观可能会是误导性的。在大数据背景下,数据越多并不意味着更好。大数据一旦脱离了实际情景,就失去了意义。

H指数研究方面,近年来众多研究给出了H指数新的内涵,还出现了H指数的衍生系列。台湾大学陈达仁教授在H指数及其应用方面有所研究。他指出了当前H指数的应用中存在的问题——当两条H指数的曲线交叉时,无法比较哪个H指数更能代表研究人员的绩效水平。在此基础上采用H指数和c参数、t参数相结合的方法,对300家医学机构的发表的论文和100家美国公使的专利被引情况进行了分析,分析结果表明,三者结合的方法能客观准确地反映不同机构的绩效。齐普夫定律依然是科学计量学的研究热点,有学者针对齐普夫定律中的常数C进行了定量研究,该学者选用文献计量学的398篇文章的摘要进行分析,发现文本的均数、中数和众数的词频非常不稳定;不同文本的C值变化很大,可以呈正相关关系、不相关和负相关关系;极高频词的C非常接近于0.1;高频词的C0.1上下波动,研究得出可以使用常数C=0.1来识别高频词。另外还有学者针对普赖斯早年引文网络分布模型进行了改进算法的研究,他们将韦林分布对于参数估计的方法应用在实证中,改进了引文网络分布模型的参数估算方法。

1.2科学计量学的应用

科学计量学的应用是本次会议的重点和热点内容,众多学者提供了新颖的分析方法和应用工具,探索出科学计量学和其他学科的动态和前沿。

1.2.1科学计量学应用于咨询

科学计量学应用广泛,其中一项重要的应用就是提供咨询服务。汤森路透科技信息服务有限公司岳卫平博士为与会代表介绍了汤森路透的咨询服务平台。她认为一份完整的发展战略规划,应能满足以下需求:对研究绩效进行评估和标杆管理;精确定位研究人才;展示研究实力并激励高水平研究成果;识别机构研究特色,找准发展方向合理分配研究基金和资源,推动机构长足发展。汤森路透公司的咨询平台囊括了PROFILEBENCHMARKCONSULT三种技术,可以提供机构整体教学科研活动的管理与分析。一方面,它可以帮用户进行机构研究产出与影响力的标杆分析:结合研究投入与产出,全面考察研究机构绩效;洞悉机构学科特色,制定差异化发展战略;筛选高效合作伙伴,借助外部合作推动学科快速发展。另一方面,它可以帮用户解决机构发展战略中的个性化需求:锁定机构综合学术影响力,寻找外部合作目标,分析机构学科发展优劣势,评估研究方向可行性,评估机构关键技术价值,促进技术转移与产学研合作,对项目资助对象进行分析与判断等。与会者听取报告后纷纷表示支持汤森路透的咨询服务,也希望尝试应用其咨询服务。

1.2.2科学计量学应用于科学发现

科学计量学应用于研究科学学已经可以发现学科结构、研究团队或人员结构、研究主题热点等,与会代表分别在此三方面进行了交流。有学者分别利用文献计量学分析方法分析了社会科学基金项目和自然科学基金项目的方方面面。比如中国社会科学院文献信息中心研究员分析了中国人文社会科学引文数据库的国家社科基金论文,对它们的经费投入与论文产出,论文学科分布与特点以及核心期刊论文比例进行了统计归纳,发现国家社科基金课题在立项两年后会进入论文成果的发表高峰阶段,其投入—产出效益显著,其资助领域和学科建设与社会发展需要联系密切并在我国哲学社会科学资助体系中具有领头雁地位。利用文献计量学分析方法可实现数据在同质机构间的比较,具有定量评价的优势,可以作为同行评议等定性研究方法的有益补充,为评价提供依据。

利用科学计量学研究团队或人员合作也是近年的研究热点,尤其引入社会网络分析方法后,其研究成果的深度、角度和可视化都有更大程度的进步。天津师范大学刘春茂教授发掘了天津地区生物医学工程领域的作者关系,利用社会网络图谱分析、中心性分析、凝聚子群分析等方法,中心度高的作者拥有更多的合作关系,中心度低的作者倾向于个人研究,明显体现出马太效应。其中合作关系多是通过同一机构内部组织来实现,强烈的机构内部合作表明跨机构合作的缺乏,而跨机构的合作研究也仅发生在同性质的机构之间(如“高校—高校”),不同性质机构之间(如“高校—企业”)的合作研究很少见。因此跨机构的团队合作在将来的研究中是非常重要的。另有学者对图书馆协作网络的特征和现状作了深入分析,发现中国学术图书馆的协作网络地区可以分为九个,区域协作是主要特征。985211大学的图书馆是整个图书馆协作网络的主要组成部分,在协作的过程中起到很重要的作用,连接了全中国的图书馆。同样也提出了馆际、区际协作的重要性。还有学者利用文献计量学的方法分析水资源管理领域的文献,引入信息熵和层次聚类法从而创新性的提出突变点识别方法,该方法可发现学科主题演变的特征和规律,从而更好的引导学科结构发展。

2 大学评价的多维发展

大学评价作为科学计量学的一个重要应用领域,其评价中所涉及的相关理论、方法和技术经过国内外众多专家学者和专业评价机构长期的探索和研究,已取得了大量受到全球各领域认可的理论和实践成果。本次会议秉承历届科学计量学与大学评价国际研讨会关于世界大学评价问题重点探讨的优秀传统,而大学学术评价和大学绩效评价成为本次会议的一大新亮点,这也为大学评价的多维发展注入新的活力。具体来说,在世界大学评价方面,《泰晤士报高等教育》、台湾大学和中国科学评价研究中心与会代表分别针对世界大学排名、世界大学科研论文质量排名和世界一流大学与科研机构学科竞争力评价等方面的问题做了报告。在大学学术评价方面,华东理工大学、浙江理工大学、南京理工大学等高校代表就目前国家和高校都普遍重视的科技创新能力、学术影响力评价以及科研机构认同研究等问题提出了建设性的理论和方法。另有学者也在研究大学绩效评价等问题。总的来说,大学评价的研究已突破了原有单纯的“排行榜”范畴,新的研究对象和评价理论应时而生,不断大学评价向着多维方向发展。

2.1世界大学评价

科研竞争力一向是大学评价研究中的焦点话题,来自武汉大学中国科学评价研究中心的赵蓉英教授就此做出了重要报告,指出自从2004以来RCCSE连续发布和出版了本科教育评价、研究生教育评价、学术期刊评价、世界一流大学评价等一系列研究报告和书籍,已得到了国内外各界人士的广泛认可和使用,在此基础上携手中国科教评价网和武汉大学中国教育质量评价中心共同推出2012年世界大学科研竞争力排行榜,由432个排行榜组成。在评价过程中创造性的引入了网络影响力指标,可以作为当前Web环境下科研影响力评价的有力补充。另外从报告分析结果可知中国大学的整体科研实力虽有显著提升,但与世界一流大学仍有较大差距,创新型科研成果、高质量高热引论文、学科建设、网络建设、成果公开、社会声誉等方面有待进一步加强。来自台湾大学的黄慕萱教授作了以《世界大学科研论文质量评比排名》为题的学术报告,评价中以科研产出、科研影响力和科研表现力为一级评价指标,以 11年内发表论文总数、当年发文数、近11年被引总数、近2年被引总数、近11年平均被引数、近两年H指数、近11年高被引论文数和当年高影响力期刊数为二级指标,将论文质量与论文数量权重设为3:1,得到世界科研论文质量最高的前500名大学。通过比较台湾高教评鉴中心与上海交大、泰晤士报和QS的排名,可以发现各自排名存在的问题和不足,而真正的好大学是那些不管从哪个角度哪家排名都能取得好成绩的大学。另外,黄慕萱教授将大学评价从大到小划分为大学评价、学术评价、科研评价、出版物评价、科研论文评价和ISI论文评价6个层次的评价,这也为大学评价的多维发展提出了现实性需求,对于我们今后的研究工作具有重大的启发价值和指导作用。另外,英国《泰晤士报高等教育》也公布了2012-2013世界大学排名结果,可以发现THE新的大学排名指标权重的变化,明显减少了主观性过强的专家评议,而增加了更为科学客观的计量评价方式比重。

2.2学术评价

大学学术评价是本次会议的热点议题,成为大学评价的又一研究维度,对于广大科研工作者、政府机构、高校科研管理具有普遍适用意义。众多学者从当前学术科研发展的实际情况出发,提出了新的研究角度、研究方法和研究技术,为我们进行大学学术评价研究提供了许多新思路。有学者以WOSEI数据库收录的教师论文为数据源,从论文的总体收录数量、各学院的创新能力、学科分布、创新团队,创新成果的学术影响力五个层面,对其科研创新水平进行了评估,并得到一些有价值的分析结果,可以作为其他大学学科建设和科研激励奖励政策制定的重要参考。除了对高校整体科研创新能力评价外,部分学者就网络环境下学术影响力提出了具体的评价方法,以弥补当前学术评价中对于网络环境考虑的不足,完善学术评价体系。比如有学者就网络环境下高校图书馆文献的学术影响的进行了深入研究,指出通过整合网络环境的评价指标体系,可以在某种程度上得到不同的学术观点,进而可以改变学术文献的影响力,在当前网络时代背景下,进一步关注相关问题的研究具有十分重要的意义。另外,还有学者从引用认同的角度,对机构学术影响力与引用认同指标间的相关性进行了深入研究。虽然引用认同的研究方法兴起不久,但其可以很好评价机构的学术影响力和学术地位,其理论意义和实用价值值得我们进一步探索。

2.3绩效评价

绩效评价起源于企业评价,将其运用于大学的评价,将会有不同的方法和产生不同的评价效果。大学的绩效评价可以促进高校的发展从注重“量”转向“质”“量”并重,以“效”体现“质”是绩效评价的“本质”所在,也是促进教育资源优化配置,提高大学办学水平的有力举措。因此,关于大学的绩效评价成为本次会议的一大热点,众多学者从多个的角度选择不同的研究对象,使我们全面深入的了解大学绩效评价的相关理论、方法和实际应用。比如上海市教育评估院的核心评价思想就是,按高校的功能、学科、层次进行分类,另外不同层次的高校可选择不同观测点,同一指标在不同类型高校中权重不同,同一指标在学科性质不同的高校中观测点不同,同一观测点在不同类型高校中评估标准不同,而且指标权重应根据实际情况进行转移分配,最终可以做到,既实现分类评估,又达到不同类型高校得以混合排序的目的,这对于我们日后的相关研究具有重要借鉴意义,同时可以为其他地区政府部门的绩效评估提供参考。

3 科学评价创新研究

科学、公平的评价不仅是对科研工作者的肯定,更有利于推动科学的创新与进步。与会代表在总结科学评价的测量标准和指标体系的基础上,提出科学评价要更加科学,要强调创新评价。经典的测量标准,比如被引总数、平均被引数、除自引平均被引数等,和新出现的测量指标,比如期刊影响因子、H指数和G指数,都存在一定的局限性。不同研究机构的评价指标存在差异,不同学科的评价之间也存在很大差异,这对最终的评价结果都有很大的影响。如何让科学评价更加科学?学者们普遍认为,科学评价应该重在测量新见解和新主张,注重创新评价,在把专家评审与定量测量指标相结合的同时,要把计量对象深入到文章的内容之中。科学评价发展的总体趋势为研究更细化、更网络化。

3.1科学评价研究更细化

首先,科学评价研究对象更加细化。科学评价突破传统评价对象全而广的约束,具体到了对单篇文献的评价和研究。清华大学文献计量与科学评价中心副主任伍军红认为,评价论文的一般方法——同行评议和科学计量法——存在很大的局限性,针对单篇文献创新性的评价,中国知网在充分转化文献计量学、信息计量学的理论和方法基础上,提出了把定性评价变成一个可以普遍操作并且效率更高的评价方式的新思路。同时利用最新的计算机智能技术,将计量对象深入到文章内容。对单篇文献进行评价研究,细化科学评价对象,开展普遍的创新评价,这是对研究者所做贡献的社会认可,有利于激励创新,实现对创新知识的传承并推进创新文化与科技出版事业的发展。

其次,科学评价对于学术评价质量要求更高。英国肯特大学商学院的刘文斌教授作了以“基于期刊早间接收率及引文的科研评估”为题的学术报告。通过英国高等教育基金委员会对“科研”的定义,提出研究论文的质量要重在测量新见解和新主张,研究产出质量的文献计量评估要同时涵盖重要性和影响力两方面。专家评审与定量测量的指标相结合,并利用多维角度的评估方法,才能使评价结果更加准确。刘教授与他的团队通过测试ABS Journal RanksJRRJIF的相关性,得出评价过程中必须同时考虑到科研工作者劳动量与科研产出两方面的结论。台湾政治大学图书资讯档案研究所所长蔡明月教授,通过引文数据库的运用与比较研究,指出基于引文分析的研究应当认真细致开展,引文分析的局限、假设和存在的问题也必须充分考虑。

3.2科学评价研究更网络化

本次大会中,网络软件的应用评价成为一个亮点。华中师范大学信息管理学院吴建华教授,在报告中对‘QQ农场’和‘Defense of Hidgeon’的可玩性进行了比较分析。通过教育游戏与纯游戏案例分析的比较评价,阐明了区别于纯游戏,教育游戏的设计应该增加更多的元素,从而提高它的可玩性。科学评价被应用到网络软件的应用评价之中,扩展了科学评价的对象和范围,也增加了科学评价的社会实用性,体现了科学评价的社会价值。

随着网络计量学的发展,链接分析的广泛使用,广大学者对各种类型的网站也进行了科学的评价。本次大会中,网站评价也是与会代表讨论的热点话题。兰州大学图书馆馆长、兰州大学政府绩效评估中心副主任沙勇忠教授,对中国211大学网站链接的地理分布及结构进行了分析。沙勇忠教授选择中国“211工程”大学网站为对象,通过地理地图、复杂网络分析法等方法来揭示中国“211工程”大学学术网络的整体状态与地理分布特征,并对其内部结构特征进行考察。大学网站作为大学信息交流的重要门户,其网站体系是学术网络空间的一个典型代表,研究其内部链接情况对揭示学术网络空间的特征具有重要价值。此外,有学者对中国高校图书馆网站进行了研究和评价,分析高校图书馆的发展现状和趋势,并指出对于中国高校图书馆网站的评价应该建立科学合理的评价标准,从而引导图书馆网站这个行业的健康发展。

科学计量学与大学评价国际研讨会为热爱和忠于科学计量学和大学评价研究的学者提供了学术交流和学术争鸣的平台和机会,它是代表着科学计量学与大学评价领域的国际学术前沿和水平的连续性高层次论坛,具有重要的国际影响力。与会代表的新思想和新成果促进了科学计量学和大学评价发展,经过两天的讨论、交流和分享,会议取得了圆满成功。华中师范大学和武汉大学共同举办此次会议,表明我国的科学计量学和大学评价国际化迈进了重要一步。



https://m.sciencenet.cn/blog-1232-647293.html

上一篇:《评价学:理论•方法•实践》评介
下一篇:邱均平教授接受法国领事馆教育处官员专访

11 曹聪 王芳 许培扬 孙学军 何学锋 姜春林 胡小洋 杜建 滕立 傅蕴德 王统领

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-19 11:47

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部