科学网—标签 - 多属性评价

相关帖子	版块	作者	回复/查看	最后发表

热度 10 yuliping 2011-10-14 23:17

致谢这本著作是我 2007 ～ 2010 博士后期间的主要成果， 2010 年获得国家社科基金后期项目资助（编号： 10FTQ003 ），在此非常感谢全国哲学社会科学规划办公室，他们的支持保障了我能够以较高的质量完成研究。 2007 年 6 月 12 日，我博士论文毕业答辩的那天，正好是我 40 周岁的生日。到了不惑之年，想想在飞逝的时间面前其实人生真是苦短，在彷徨中浪费了 1 个多月，还是决定在现有的基础上继续提高一下自己。本来以为联系博士后是很简单的事情，没有想到充满了许多曲折，我先后联系了南京农业大学、南京大学、河海大学、东南大学、南京航空航天大学等学校的博士后合作导师，要么是专业不对口，要么是当年博士后招聘已经结束，要么是导师对我不感兴趣……总之是两个月时间毫无结果。期间我的博士生导师周曙东教授、安徽工业大学的李致平教授给我提供了很多帮助，令我非常感动。最后一次联系到河海大学的卞艺杰老师，他看过我的材料回邮件给我，说我基础不错，可以到更大的地方去好好提高自己，这句话一下子点醒了我。于是在中国博士后网站上查询有“信息”二字的博士后站，正好中国科学技术信息研究所武夷山老师在招聘科技评价方向的博士后，由于我之前研究过科技创新，也有一定的定量研究基础，抱着试试看的想法给武老师发了邮件，没有想到武老师第二天就给我回了邮件。武老师是我近距离接触的第一位大家，博士后期间，武老师给了我无微不至的指导。我写的论文，武老师先改框架，然后逐字逐句给我进行修改，最多时一篇论文能修改上百个地方。有事发邮件请教，正常情况武老师不出三天就给我回信。无论是做人还是治学，武老师都给我以很大的影响，客观地说，在很多方面武老师甚至让我改变了对人生的基本态度。我对武老师的感觉，其实就是一种心灵依赖或者是一种心灵归宿，除此之外再多的言语似乎已经多余。博士后在站期间，郑彦宁老师、潘云涛老师在科研及生活中给了我很多帮助，苏成、袁军鹏、马峥、化柏林、章成志帮我处理了大量的琐务。张东、于薇、刘敏给我提供了最大的便利与支持。我的学生武琳同学帮我编辑了部分参考文献。在京期间，住宿每次都是打扰我在中国社科院工作的师弟胡冰川博士，在此一并感谢！本研究后期，我已经调到宁波大学工作，感谢我以前单位领导和同事们的理解和支持，也感谢宁波大学的领导和同事们着支持！最后要感谢我的母亲和我的妻子李雪松女士，她们分担了全部家务，让我能集中精力从事研究工作。感谢所有的朋友们！俞立平 2011.7.29 于宁波

个人分类: 科学计量|3763 次阅读|17 个评论

序：科技评价方法基本理论研究——多属性评价面面观

热度 2 yuliping 2011-10-14 21:08

序俞立平几年前在中国科学技术信息研究所从事博士后研究期间，我是其合作导师。顾名思义，合作导师既要与博士后研究人员合作开展科研，又要对其进行学术指导。可是，就我和俞立平的关系而言，指导的成分不多，主要是合作。这倒不是我故作谦虚，而确实是因为俞立平具备几个突出的优点：研究能力强；善于学习新东西；能长时期围绕着待解决的问题苦思冥想，勇敢攻关。 2007 年 9 月初次见面时，我希望他下大力气研究科技评价中的一些带有根本性的学术问题。掰开指头一数，这样的问题还真不少，例如：（ 1 ）面对特定的评价对象，科技评价指标到底该怎么选取？现有文献中常见的关于指标选取原则的几“性”（如代表性、独立性、可识别性和可测度性，或其他类似说法）其实对评价工作并没有多大指导意义。（ 2 ）初步选定若干评价指标后，如何将评价结果和来自其他来源的相关信息作为反馈信息，对这些指标进行优化（删除不合适的指标）？（ 3 ）面对林林总总的评价方法，如何确定到底采用哪种方法来进行评价？是随便选用一种方法，还是依据某种程序或思路来选取？（ 4 ）如何给不同的指标赋权？不同赋权方法各有什么优缺点？专家主观赋权法过时了吗？（ 5 ）有了初步评价结果后，如何将评价结果和来自其他来源的相关信息作为反馈信息，对已经确定的指标权重进行合理调整？ …… 在站期间，俞立平围绕这些问题展开了系统的研究，对其中一些问题的解答是令人欣喜的。而且，他还在研究过程中不断给自己提出新的学术问题，如数据标准化方面应注意哪些事项？在众多评价指标之间相关性较强的情况下，如何通过“消除相关性”来减少指标的数量？如果我们将不同方法产生的评价结果加以适当的组合，产生出一个新的、更合理的结果，则到底怎么组合为好？等等。坦率地说，由于本人学力不逮，他提出的一些学术问题是我根本提不出来的，或者即使提出来了，我也回答不了。目前呈现在读者面前的，就是俞立平勤奋耕耘的丰硕果实。科技评价，是人类的一项永恒的任务，是人性的事业。举凡人才苗子选拔、学习成绩考查、科技资源分配、科研结果认可、科技奖励颁发，等等，无不牵涉评价。既然是人性的事业，就具备所有人类活动的特点：复杂、多变、莫衷一是。比如，针对任何一套评价指标，有些人都会想出歪门邪道来加以应付。你用影响因子来评价期刊，我就“发动”各色人等来引用本刊的论文，从而收提高影响因子之效。面对这种情况怎么办？是干脆放弃影响因子指标呢，还是“魔高一尺，道高一丈”地与这帮人斗法，设计出更难“应付”的评价指标？诸如此类的问题，俞立平无暇研究与回答。但是，任何有志于从事科技评价及广义评价者，都要努力回答这样的问题。我的意思是：评价尚未成功，同志仍须努力。希望俞立平继续在科技评价研究领域过关斩将，希望更多具备科学计量学基本素养的研究人员登上科技评价的缤纷舞台，一展身手。是为序。武夷山 2011 年 4 月 4 日

个人分类: 科学计量|3265 次阅读|4 个评论

学术期刊多属性评价结果的实际差距研究

热度 2 yuliping 2011-5-3 21:54

按：本文发表于2011.4《情报学报》为了深入分析非线性评价带来的评价结果实际差距扭曲问题，本文采用回归分析法将非线性评价转换为线性评价并进行深入分析。研究结果表明，不同评价方法评价结果的用途不同，基于排序的评价其结果不能进行差距比较，线性评价在不同分值情况下改进难度不一样，非线性评价会带来评价对象实际差距的数据扭曲； TOPSIS 法是一种惩罚落后，略微鼓励先进的评价方法；灰色关联法是一种防止骄傲，帮助落后的评价方法；在竞争中，期刊必须认识到非线性评价所带来的与竞争对手差距扭曲问题，从而明确差距，进行改进。 2011.5.3 俞立平于宁波工作论文23.pdf

个人分类: 科学计量|3030 次阅读|3 个评论

基于结果一致度的学术期刊组合评价研究

yuliping 2011-1-8 21:40

本文发表于2011年第1期《中国科技期刊研究》。组合评价比单一评价方法更能体现出不同多属性评价方法的优势。本文在构建学术期刊评价方法体系的基础上，提出了一种新的组合评价方法基于结果一致度的组合评价。其原理是通过回归测度出一种评价方法与其他所有评价方法的相似程度，然后根据这种相似程度归一化后得到各种评价方法的权重，最后再进行加权汇总。本文认为，期刊评价方法正走向复合化和组合化，基于结果一致度的组合评价是一种(民主) 的组合方法，该方法不能用于评价结果只有排序的评价方法的组合，基于排序的组合评价使用范围有限。 2011.1.8 俞立平于宁波 PDF文件

个人分类: 科学计量|3757 次阅读|0 个评论

基于极值法的学术期刊组合评价研究

yuliping 2009-9-9 19:31

基于极值法的学术期刊组合评价研究俞立平潘云涛武夷山摘要：为了解决学术期刊指标体系综合评价中不同评价方法结果不一致问题，本文利用中国科学技术信息研究所的医学院校学报数据，提出了一种新的基于极值法的组合评价方法。其原理是，首先选用各种可行的评价方法进行评价，然后将评价结果标准化，将同一期刊不同评价结果的极大值作为该期刊的最终评价结果，取得了较好的效果。研究表明，采用组合评价进行权重计算必须慎重使用；基于秩序的评价方法不能用于组合；基于极值法的组合评价方法有利于建立和谐的评价者与被评价者关系，结果容易得到公认。关键词：学术期刊多属性评价极值法 1 引言期刊评价是文献计量学研究的重要组成部分，它通过对学术期刊的发展规律和增长趋势进行量化分析，揭示学科文献数量在期刊中的分布规律，为优化学术期刊的使用提供重要参考，同时可以提高学术期刊的内在质量，促进学术期刊的健康成长和发展。美国著名情报学家加菲尔德博士在 20 世纪 60 年代对期刊文献的引文进行了大规模统计分析，得到了大量被引用文献集中在少数期刊上，而少量被引用文献散布在大量期刊中的结论，这可以被认为是国外期刊评价理论的起源。学术期刊评价主要有两大类方法，一种是直接根据期刊评价指标进行对比，二是采用多指标综合评价方法，该方法克服了单指标评价容易带来的片面性，比较适合期刊的综合评价因此得到了较广泛的应用。学术期刊多指标综合评价是一项复杂的系统工程，牵涉到评价原则、指标选取、数据归一化、评价方法选择等诸多方面，国内外学者在该领域进行了大量广泛的研究。从评价方法的角度， Weiping Yue 、 Concepcion S. Wilson （ 2004 ）利用结构方程的原理建立了一个期刊影响力的分析框架。苏新宁（ 2008 ）采用指标体系赋权进行中国人文社会科学期刊的评价。邱均平、张荣等（ 2004 ）提出了期刊评价指标体系的三维层次结构图，并利用灰色关联法进行评价。庞景安、张玉华等（ 2000 ）及李凯扬、贾玉萍（ 2005 ）利用层次分析法对期刊进行评价。王小唯、杨波等（ 2003 ）将期刊以往状态的评价结果作为各期刊基础条件的一种度量，再运用数据包络分析方法（ DEA ）测算出它们的二次相对评价值。李修杰、陈景武（ 2006 ）运用判别分析法建立的期刊评估指标体系。王玖、徐天和（ 2003 ）运用秩和比法进行医学学术期刊学术质量综合评价。陈汉忠（ 2004 ）应用主成分分析对学术期刊进行评价。凌春艳、莫琳（ 2004 ）提出自然科学学术期刊质量指标体系的属性数学综合评价模型并进行了评价。李继晓、蔡成瑛（ 2006 ）对各种核心期刊的评价方法进行了介绍和分析，认为选择核心期刊的评价方法并不是一件一劳永逸的事，只能通过不断实践、比较、分析，才能使核心期刊的评价日臻完善。此外，还有一些学者将两种或两种以上的评价方法进行有机融合，采用复合方法进行评价，如根据层次分析法确定权重，再采取加权 TOPSIS 法进行评价，由于复合评价方法只有一个评价结果，因此本质上仍然可以认为是一种多指标综合评价方法。指标体系综合评价方法存在的主要问题是，针对同一评价对象，选取相同的指标，采取同样的数据，不同评价方法得出的评价结果不一致，结果难以得到公认，因此学术界提出了组合评价的思想，即将各种评价方法的不同结果进行组合，从而给出最终评价结果。传统的组合方法有 Borda 法、 Copeland 法等。毛定祥（ 2002 ）提出了一种最小二乘意义下的组合方法，即最佳权重必须与各种主客观赋权评价所得权重的偏差平方和最小，用线性规划求解。徐泽水，达庆利（ 2002 ）提出的组合方法最终评价结果与各种评价方法差距最小。彭猛业、楼超华等（ 2004 ）提出了加权平均组合方法，权重采取各评价结果与平均评价值的相关系数确定，最后计算组合评价结果。刘丽、张礼兵等（ 2004 ）利用遗传算法确定各评价方法的权重，然后计算组合评价结果。马溪骏、李敏（ 2006 ）提出了一种权重偏差平方和最小的组合方法。陈衍泰、陈国宏等（ 2005 ）提出了一种两阶段复合的组合评价方法。郭亚军、易平涛（ 2006 ）提出了一种基于整体差异的客观组合评价法，即存在一种评价结果（最佳组合），各评价方法投影到该评价结果后方差最大，体现了少数服从多数的思想。将不同评价方法的评价结果加以组合，互相取长补短，是一种较好的解决方法。但是存在以下问题：第一，目前几乎所有的组合评价方法都是一种类似的平均方法，那么，平均的理论依据是什么？在什么情况下进行平均？第二，一些多属性决策的组合决策方法并不适合进行期刊评价，比如利润最大化的组合方法在期刊评价中并不适用，期刊评价的一个重要目的就是根据学术质量或影响力等因素对不同期刊加以区分，并不需要评价值最大。第三，组合评价除了对评价结果的组合外，还有许多方法是对权重的组合，得出组合权重后再进行加权汇总，问题是许多评价方法已经用不到权重或者不是简单地根据权重加权平均，例如加权 TOPSIS 法就是如此，何况即使得到权重，也存在不同评价方法的选择问题，评价结果不唯一，失去了组合的意义。第四，一些基于秩序的评价方法，并不适合进行组合评价，如秩和比法、 BORDA 法等，因为该类方法的评价结果是排序，并不能衡量期刊之间的真实差距。本文以中国科学技术信息研究所的医学院校学报评价为例，分别采用主成分分析、因子分析、 TOPSIS 、熵权法进行评价，然后主要从测量误差和区分度的角度比较体育比赛与期刊评价的区别，在此基础上提出了一种新的基于极值的组合方法。 2 研究方法 2.1 几种评价方法 2.1.1 主成分分析与因子分析主成分分析是考察多个变量间相关性的一种多元统计方法，其产生的背景是，评价研究中经常牵涉到多项指标，这些指标间往往存在一定的相关，全部采用这些指标，不仅使计算过程复杂，而且可能因多重共线性而无法得出正确结论。主成分分析的目的就是通过线性变换，将原来的多个指标组合成相互独立的少数几个能充分反映总体信息的指标。它常被用来作为寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以合适的解释，从而更加深刻的揭示事物的内在规律。因子分析是从多个变量指标中选择出少数几个综合变量指标的一种降维的多元统计方法。该方法的基本思想是通过变量的相关系数矩阵或协方差矩阵内部结构的研究，找出能控制所有变量的少数几个随机变量去描述多个变量之间的相关关系。然后根据相关性大小把变量分组，使得同组内的变量之间相关性较高，不同组的变量之间相关性较低。每组变量代表一个基本结构，这个基本结构称为公共因子。对于所研究的问题就可以试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。建立因子分析模型的目的是找出主因子，解释每个主因子的实际意义，以便对实际问题进行分析。由因子模型矩阵得到的初始因子载荷矩阵，如果因子负荷的大小相差不大，对因子的解释可能有困难，因此，为得出较明确的分析结果，往往要对因子载荷矩阵进行正交旋转或斜交旋转。通过旋转坐标轴，使每个因子负荷在新的坐标系中能按列向 0 或 1 两极分化，同时也包含按行向两极分化。如果不对因子载荷矩阵进行旋转，就是主成分分析，因此，主成分分析实际上是因子分析的一种特殊情况。 2.1.2 TOPSIS 法 TOPSIS 的全称是逼近理想解的排序法（ Technique for Order Preference by Similarity to Ideal Solution ），它是多目标决策分析中常用的一种方法。该方法的思路是根据各被评估对象与理想解和负理想解之间的距离来排列对象的优劣次序。所谓理想解是设想的最好对象，它的各属性值达到所有被评对象中的最优值；而负理想解则是所设想的最差对象，它的各属性值都是所有被评对象中的最差值。用欧几里德范数作为距离测度，计算各被评对象到理想解及到负理想解的距离，距理想解愈近且距负理想解愈远的对象越优。 2.1.3 熵权法熵概念源于热力学，后由 Shannon 引入信息论。信息熵可用于反映指标的变异程度，从而可用于综合评价。设有 m 个待评对象， n 项评价指标，形成原始指标数据矩阵 X= （ X ij ） m n ，对于某项指标 X j ，指标值 X ij 的差距越大，该指标提供的信息量越大，其在综合评价中所起的作用越大，相应的信息熵越小，权重越大；反之，该指标的权重也越小；如果该项指标值全部相等，则该指标在综合评价中不起作用。 2.2 基于极值法的组合评价原理评价相当于体育比赛，需要对运动员的成绩进行排名，并了解各运动员之间的差距。对于体育比赛与评价之间的关系，可以从以下几个角度进行分析： 2.2.1 不考虑测量误差，对评价（比赛）结果进行平均体育比赛中，如果要从不同角度对运动员的表现进行评分，那么最好的方法是对运动员各方面的成绩进行汇总或平均，比如男子全能体操比赛，反映了运动员体操的综合水平，那么就将运动员的鞍马、自由体操、跳马、双杠、吊环、单杠的成绩进行汇总，这里汇总和平均的处理方式并没有本质的区别。这有些类似于期刊评价中的指标选取，不同学者在进行期刊评价时选取的指标不同，当然评价结果也不一样，但都是从不同侧面反映了期刊的水平，因此，在这种情况下，可以采取将不同专家评价结果汇总或平均的方式。当然，这与本文讨论的组合评价没有关系，组合评价必须在指标选取相同的情况下。 2.2.2 在有测量误差的情况下，对评价（比赛）结果进行平均在体育比赛中，还有一种情况需要进行汇总或平均，那就是在测量技术存在误差或精度不够时，有点类似用直尺测量长度，需要测量几次然后取平均值。例如体操比赛的成绩是由数名裁判给出的，非常容易出现误差，在这种情况下，采取类似平均的方法可以减少误差。在期刊评价中，如果采取主观或主客观相结合的某些评价方法，需要专家们对指标权重赋值，不同专家的结果难以一致，因此往往也采用平均的方法。当然，这也与本文重点研究的组合评价问题无关。 2.2.3 在没有测量误差的情况下，取评价（比赛）的极大值在体育比赛中，对于某些项目，比如铅球、跳高等，一般取运动员三次比赛的最好成绩作为最终成绩，当比赛人数只有 8 人或少于 8 人时，每人甚至可以试掷 6 次。当然，很多体育比赛只进行一次，如游泳、赛跑等，因为考虑到比赛成本和运动员的身体承受能力，如果 100 米游泳同一天比赛 3 次，取运动员最好成绩，运动员当然求之不得，国际泳联肯定不会答应。当然， 5000 米长跑也不能让运动员一天跑 3 次取最好成绩。在期刊评价中，不同评价方法不存在测量误差，问题出在测量技术不成熟上，我们无法分清那种评价方法最优，那种评价方法最差。在这种情况下，如果采取将不同方法评价结果进行平均的做法，从理论上是站不住脚的，而且会受到来自期刊的批评。换个角度，将各种评价方法中某种期刊的最优值作为该期刊的最终评价结果，这种处理方法即使不是最佳的，也会得到绝大多数期刊的认同。现在有计算机作为辅助计算工具，不同评价方法实现成本很低，在这样的情况下，可以选取同一期刊在不同评价方法中的最高成绩作为最终成绩，容易实现，而且可以减少评价者与被评价者之间的冲突。 2.2.4 在没有测量误差的情况下，对评价（比赛）结果进行平均在没有测量误差的情况下，体育比赛有时也采取汇总（平均）的方法，比如射箭，根本原因是由于如果取每个运动员 12 支箭的最佳成绩的话，那么每个运动员可能都是 10 环，区分度太差，失去了体育比赛的意义。在学术期刊评价中，不同评价方法本身的区分度一般都很好，因此没有必要采取汇总或平均的做法。 2.2.5 极值法组合评价步骤采取极值法进行不同评价方法的组合是一种较好的处理方式，为了使不同评价方法结果可比，必须将其标准化，假设有 m 个评价对象，采用 n 种评价方法，期刊的评价结果为 V i,j ，标准化方法为：（ 1 ）从而每种评价方法中期刊最高得分为 100 ，最低得分为 0 ，这样具有可比性，然后再取某期刊 n 种评价结果的最大值作为最终评价结果，即。 3 数据本文数据来自于中国科学技术信息研究所 CSTPC 数据库，以医学院校学报为例进行分析，共 60 种。中国科学技术信息研究所从 1987 年开始对中国科技人员在国内外发表论文数量和被引情况进行统计分析，并利用统计数据建立了中国科技论文与引文数据库，同时出版《中国学术期刊引证报告》。评价指标有总被引频次、他引率、扩散因子、学科影响指标、学科扩散因子、被引半衰期、影响因子、即年指标、基金论文比、平均作者数、平均引文数、引用半衰期、地区分布数、海外论文比共 14 个，表 1 为数据的描述统计量。表 1 变量描述统计量变量名内容均值最大值最小值标准差 X1 总被引频次 500.433 2257.000 114.000 389.021 X2 他引率 0.886 0.990 0.430 0.106 X3 扩散因子 48.578 75.440 19.370 14.009 X4 学科影响指标 0.532 1.000 0.110 0.246 X5 学科扩散因子 4.782 11.980 1.950 2.291 X6 被引半衰期 4.701 6.560 2.630 0.785 X7 影响因子 0.266 0.640 0.076 0.142 X8 即年指标 0.037 0.163 0.004 0.031 X9 基金论文比 0.381 0.970 0.060 0.184 X10 平均作者数 4.094 5.740 2.040 0.777 X11 平均引文数 8.693 15.880 4.360 2.334 X12 引用半衰期 5.826 7.830 4.530 0.835 X13 地区分布数 12.767 31.000 2.000 5.809 X14 海外论文比 0.016 0.080 0.000 0.017 n 期刊数量 60 数据来源：中国科学技术信息研究所 CSTPC 数据库 2006 年数据由于要对期刊进行评价，所以必需对数据进行标准化处理，每项指标最大值设为 100 ，然后按比例进行调整。此外，被引半衰期和引用半衰期是两个反向指标，必须进行适当处理，方法是用 100 减去其标准化后的结果后再做标准化，这种处理方式是线性处理方式，比反向指标取倒数的非线性处理方式要科学一些。另外海外论文比指标 60 种期刊中有 14 种为 0 ，考虑到区分度很差，因此具体评价时删掉该指标。 4 评价结果首先采用主成分分析、因子分析、 TOPSIS 、熵权法进行评价。在进行主成分分析与因子分析时，必须首先进行 KMO 检验与 Bartlett 检验。 KMO 是对样本充分度进行检验的指标，一般要大于 0.5 。本文采用 SPSS 进行数据处理， KMO 值为 0.736 ，也就是说，比较适合进行主成分和因子分析； Bartlett 值为 627.119 ， P0.000 ，也就是说，相关矩阵不是一个单位矩阵，可以进行主成分和因子分析。换句话说，期刊采用主成分和因子分析的条件全部具备。前 4 个主成分（因子）的累计贡献率为 82.17% ，因此采用前 4 个主成分（因子）进行评价。根据公式（ 1 ）将 4 种评价结果再做标准化，然后取 4 种评价结果标准化后的最大值作为各期刊的最终评价结果，如表 2 所示。表 2 各种评价方法及组合评价结果期刊名称层次分析因子分析 TOPSIS 熵权法组合评价排名中国医学科学院学报 72.88 100.00 99.03 84.35 100.00 1 第四军医大学学报 100.00 78.93 100.00 100.00 100.00 1 中山大学学报医学科学版 51.24 98.11 73.85 57.72 98.11 3 浙江大学学报医学版 26.98 96.89 82.81 93.01 96.89 4 北京大学学报医学版 73.51 96.14 90.86 73.15 96.14 5 第三军医大学学报 85.30 81.17 96.05 85.73 96.05 6 医学研究生学报 27.84 89.56 74.68 80.72 89.56 7 第二军医大学学报 81.79 78.98 89.41 76.03 89.41 8 南方医科大学学报 67.13 75.05 87.68 71.81 87.68 9 吉林大学学报医学版 48.25 86.87 66.73 56.80 86.87 10 中国药科大学学报 69.96 79.73 86.01 74.69 86.01 11 郑州大学学报医学版 38.80 68.33 70.81 77.03 77.03 12 北京中医药大学学报 53.47 61.24 73.49 74.02 74.02 13 南京医科大学学报自然科学版 41.21 72.10 47.98 42.45 72.10 14 中南大学学报医学版 53.80 71.12 62.03 45.32 71.12 15 复旦学报医学版 53.92 68.79 63.78 48.42 68.79 16 四川大学学报医学版 55.60 68.19 66.94 50.58 68.19 17 西安交通大学学报医学版 43.37 68.19 67.37 61.34 68.19 17 军事医学科学院院刊 31.94 65.12 45.00 19.20 65.12 19 上海中医药大学学报 28.41 61.45 64.74 59.84 64.74 20 上海交通大学学报医学版 43.32 62.92 52.68 39.20 62.92 21 安徽医科大学学报 25.38 60.15 26.47 19.22 60.15 22 华中科技大学学报医学版 46.01 59.54 52.16 39.59 59.54 23 沈阳药科大学学报 41.91 53.90 56.77 58.00 58.00 24 山东大学学报医学版 30.45 54.98 32.68 10.98 54.98 25 福建医科大学学报 20.34 53.03 32.11 26.05 53.03 26 广州中医药大学学报 34.04 52.93 45.83 37.36 52.93 27 武汉大学学报医学版 27.04 50.96 32.78 15.17 50.96 28 东南大学学报医学版 18.65 50.77 33.81 16.87 50.77 29 军医进修学院学报 23.95 50.73 35.67 37.82 50.73 30 新乡医学院学报 12.69 47.53 26.07 30.19 47.53 31 成都中医药大学学报 20.83 34.06 46.08 42.06 46.08 32 重庆医科大学学报 25.81 43.08 32.55 21.55 43.08 33 广州医学院学报 19.47 42.56 26.87 7.01 42.56 34 首都医科大学学报 24.27 42.52 28.31 12.56 42.52 35 中国医科大学学报 30.98 41.81 34.15 22.68 41.81 36 哈尔滨医科大学学报 27.03 41.33 28.45 15.32 41.33 37 江苏大学学报医学版 12.46 40.90 18.13 3.67 40.90 38 温州医学院学报 11.02 39.98 20.27 8.72 39.98 39 武警医学院学报 16.56 18.41 37.04 3.90 37.04 40 湖南中医药大学学报 22.51 36.79 33.16 23.33 36.79 41 南京中医药大学学报 21.55 27.63 33.85 35.98 35.98 42 河北医科大学学报 23.57 34.72 31.29 12.38 34.72 43 安徽中医学院学报 28.25 34.01 34.39 24.11 34.39 44 山西医科大学学报 30.64 33.33 34.28 16.99 34.28 45 贵阳医学院学报 17.33 30.92 23.79 12.94 30.92 46 昆明医学院学报 6.95 30.80 17.74 6.01 30.80 47 广西医科大学学报 28.60 30.80 23.31 13.45 30.80 47 广东药学院学报 25.16 28.50 28.97 17.98 28.97 49 浙江中医学院学报 20.19 7.46 28.55 19.92 28.55 50 苏州大学学报医学版 24.73 27.56 26.59 13.41 27.56 51 江西医学院学报 18.78 27.07 27.52 12.06 27.52 52 蚌埠医学院学报 0.00 27.10 0.00 10.25 27.10 53 青岛大学医学院学报 4.25 26.50 7.49 0.00 26.50 54 青岛大学医学院学报 4.25 26.50 7.49 0.00 26.50 54 徐州医学院学报 14.74 25.00 19.59 3.85 25.00 56 山东中医药大学学报 16.82 16.54 23.19 22.93 23.19 57 大连医科大学学报 11.76 17.72 19.15 1.82 19.15 58 云南中医学院学报 6.84 12.95 14.85 8.38 14.85 59 贵阳中医学院学报 4.89 0.00 14.20 1.48 14.20 60 5 结论与讨论 5.1 采用组合评价确定权重要慎重使用一般情况下，采用组合评价法确定期刊的权重要慎重进行，撇开组合的方法不谈，即使能够得到各期刊评价指标的权重，究竟采取何种评价方法进行评价尚有很大的选择空间，因此其结果并不是唯一的，也起不到消除评价分歧的作用。 5.2 基于秩序的评价方法不能用于组合评价秩和比、 BORDA 、 ELECTRE 等基于秩序的评价方法是不太适合进行组合评价的，因为排序后无法确定期刊之间的差距，丢失了期刊的重要信息，比如，甲乙两个期刊的评分分别为 96 和 95 ，这和甲乙两个期刊评分分别为 96 、 80 的情况是完全不同的，但二者的排序都是甲大于乙。 5.3 基于极值法的组合评价方法具有独到的优势基于极值法的组合评价方法有利于建立和谐的评价者与被评价者的关系，而且其结果是唯一的，在经过充分论证的基础上，慎重选取评价指标，然后选取可行的各种评价方法进行评价，在此基础上进行组合，容易达成一致结果。需要说明的是，由于条件所限，本文没有穷尽全部可行的方法进行期刊评价，但从理论上说不应影响本文的结论。参考文献 Weiping Yue 、 Concepcion S. Wilson . Measuring the citation impact of research journals in clinical neurology: a structural equation modeling analysis . Scientometrics,2004 （ 3 ）： 317-334 苏新宁 . 构建人文社会科学学术期刊评价体系 . 东岳论丛， 2008 （ 1 ）： 35-42 邱均平、张荣等 . 期刊评价指标体系及定量方法研究 . 现代图书情报技术， 2004 （ 7 ）： 23-26 庞景安、张玉华等 . 中国学术期刊综合评价指标体系的研究 . 中国学术期刊研究， 2000 （ 11 ）： 217-219 李凯扬、贾玉萍 . 基于 AHP 的期刊全文数据库的模糊综合评价 . 情报科学， 2005 （ 11 ）： 1688-1703 王小唯、杨波等 . 学术期刊质量评估的二次相对评价方法 . 编辑学报， 2003 （ 6 ）： 231-232 李修杰、陈景武 . 运用判别分析法建立的期刊评估指标体系 . 江西图书馆学刊， 2006 （ 3 ）： 48-50 王玖、徐天和 . 秩和比法在医学学术期刊学术质量综合评价中的应用 . 数理医药学杂志 2003 （ 3 ）： 266-267 陈汉忠 . 主成分分析在学术期刊评价中的应用 . 中国学术期刊研究， 2004 （ 6 ）： 658-660 凌春艳、莫琳 . 自然科学学术期刊质量指标体系的属性数学综合评价模型 . 数学的实践与认识， 2004 （ 5 ） :1-7 李继晓、蔡成瑛 . 对各种核心期刊评价方法的分析 . 中国学术期刊研究， 2006 （ 2 ）： 253-256 毛定祥 . 一种最小二乘意义下主客观评价一致的组合评价方法 . 中国管理科学， 2002 （ 5 ） :95-97 徐泽水，达庆利 . 多属性决策的组合赋权方法研究 . 中国管理科学， 2002 （ 2 ）： 84-86 彭猛业、楼超华等 . 加权平均组合评价法及其应用 . 中国卫生统计， 2004 （ 3 ）： 146-149 刘丽、张礼兵 . 基于遗传算法的组合评价模型 . 合肥工业大学学报自然科学版， 2004 （ 8 ）： 899-902 马溪骏、李敏等 . 基于兼容一致性方法集成组合评价研究 . 中国管理科学， 2006 （ 10 ）： 20-23 陈衍泰、陈国宏等 . 应用合作博弈确定组合评价权重系数的方法研究 . 中国管理科学， 2005 （ 6 ）： 89-94 郭亚军、易平涛 . 一种基于整体差异的客观组合评价法 . 中国管理科学， 2006 （ 3 ）： 60-64 本文发表于2009.8《图书与情报》 2009.9.9 俞立平于邗上

个人分类: 科学计量|6966 次阅读|1 个评论

学术期刊多属性评价中指标相关关系修正研究

yuliping 2009-7-23 00:30

本文发表于《科学学研究》2009.7，是《情报杂志》2009.3发表的我的论文科技评价指标相关消除方法 ---- 相关系数调整法的升级。当时撰写第一篇论文时，就感觉到不完善，但又想不出更好的路子，数月后灵光一闪，想到了本文的思路。现在我又想到了更进一步的点子，如果统计指标采用的是时间序列数据，那么还有可能存在伪回归问题，可能需要进行协整检验，必须应用VAR模型进行估计，分析指标间的相关关系，如果这样，可能还会有解决指标体系相关问题方法的第三篇论文出现，正在考虑中。这也说明了一个问题，很多问题的解决很难一步到位，倒不是我们不想，而是确实当时没有想到，也许这是科学规律。 2009.7.23 俞立平于邗上摘要：为了克服学术期刊评价中指标相关带来的重复计算问题，本文提出了一种新的降低指标相关关系的近似算法综合回归调整法，其原理是首先全面分析所有的指标间复杂的相关关系，绘制出指标相关图，然后利用回归系数和拟合优度估算出相关部分，最后进行指标调整，在此基础上再进行评价。为了减少误差，综合回归调整法只能使用一次，并且在指标较多的情况下要结合指标分级使用。 PDF文件下载

个人分类: 科学计量|4086 次阅读|1 个评论

学术期刊评价方法体系构建及相关问题研究

yuliping 2009-6-29 14:49

按：该文发表于《编辑学报》，2009.3 俞立平摘要：本文从定性评价、单一指标评价、多属性评价、组合评价 4 个方面构建了学术期刊评价体系结构，分析了学术期刊评价中存在的一些问题，认为要慎重选用一些基于排序的评价方法和基于相关系数的评价方法，应该采取客观评价法进行组合评价，组合评价与多属性评价结合将会取得进展，要注意评价的有效性和评价复杂性的辩证统一，各种评价方法可以互相补充，将长期共存下去。关键词：学术期刊定性评价多属性评价组合评价体系结构 0 引言期刊评价是文献计量学研究的重要组成部分，它通过对学术期刊的发展规律和增长趋势进行量化分析，揭示学科文献数量在期刊中的分布规律，为优化学术期刊的使用提供重要参考，同时可以提高学术期刊的内在质量，促进学术期刊的健康成长和发展。期刊评价理论起源于 E.Garfield （ 1963 ）博士。学术期刊定量评价主要有两大类方法，一种是直接根据期刊评价指标进行对比，二是采用多指标综合评价方法，该方法克服了单指标评价容易带来的片面性，比较适合期刊的综合评价因此得到了较广泛的应用。学术期刊多指标综合评价是一项复杂的系统工程，牵涉到评价原则、指标选取、数据归一化、评价方法选择等诸多方面，国内外学者在该领域进行了大量广泛的研究。从评价方法的角度， Weiping Yue 等（ 2004 ）利用结构方程的原理建立了一个期刊影响力的分析框架。苏新宁（ 2008 ）采用指标体系赋权进行中国人文社会科学期刊的评价。邱均平等（ 2004 ）提出了期刊评价指标体系的三维层次结构图，并利用灰色关联法进行评价。庞景安等（ 2000 ）及李凯扬等（ 2005 ）利用层次分析法对期刊进行评价。王小唯等（ 2003 ）将期刊以往状态的评价结果作为各期刊基础条件的一种度量，再运用数据包络分析方法（ DEA ）测算出它们的二次相对评价值。李修杰等（ 2006 ）运用判别分析法建立的期刊评估指标体系。王玖等（ 2003 ）运用秩和比法进行医学学术期刊学术质量综合评价。陈汉忠（ 2004 ）应用主成分分析对学术期刊进行评价。凌春艳等（ 2004 ）提出自然科学学术期刊质量指标体系的属性数学综合评价模型并进行了评价。李继晓等（ 2006 ）对各种核心期刊的评价方法进行了介绍和分析，认为选择核心期刊的评价方法并不是一件一劳永逸的事，只能通过不断实践、比较、分析，才能使核心期刊的评价日臻完善。指标体系综合评价方法存在的主要问题是，针对同一评价对象，选取相同的指标，采取同样的数据，不同评价方法得出的评价结果不一致，结果难以得到公认，因此学术界提出了组合评价的思想，即将各种评价方法的不同评价结果进行组合，从而给出最终评价结果。关于组合评价，至今没有一个公认的定义。一般认为，组合评价就是将不同的评价方法进行适当组合，综合利用各种方法所提供的信息，从而尽可能地提高评价水平和精度。近年来，组合评价已成为评价领域中的一个重要研究方向。由于期刊评价的特殊性，组合评价方法在期刊评价中的应用较少，在其它领域组合评价方法得到了较为广泛的应用。传统的组合方法有 Borda 法、 Copeland 法等。毛定祥（ 2002 ）提出了一种最小二乘意义下的组合方法，即最佳权重必须与各种主客观赋权评价所得权重的偏差平方和最小，用线性规划求解。徐泽水等（ 2002 ）提出的组合方法最终评价结果与各种评价方法差距最小。彭猛业等（ 2004 ）提出了加权平均组合方法，权重采取各评价结果与平均评价值的相关系数确定，最后计算组合评价结果。刘丽等（ 2004 ）利用遗传算法确定各评价方法的权重，然后计算组合评价结果。马溪骏等（ 2006 ）提出了一种权重偏差平方和最小的组合方法。陈衍泰等（ 2005 ）提出了一种两阶段复合的组合评价方法。郭亚军等（ 2006 ）提出了一种基于整体差异的客观组合评价法，即存在一种评价结果（最佳组合），各评价方法投影到该评价结果后方差最大，体现了少数服从多数的思想。陈伟炯、等（ 2005 ）利用基于序号总和理论和众数理论对港口安全环境进行组合评价。李美娟、等（ 2005 ）提出了一种基于粗糙集的组合评价方法。张国权等（ 2008 ）提出了基于最小离差和最大广义联合熵的组合赋权方法。关于组合评价方法，至今为止已经有几十种。可见，学术期刊评价方法体系结构非常复杂，为了进行客观、公正、科学的学术期刊评价，本文在建立学术期刊评价体系结构的基础上，对期刊评价方法中存在的问题进行分析，并从方法的角度指明今后期刊评价的方向。 1 学术期刊评价方法体系结构总体上，学术期刊评价包括定性评价和定量评价两大类，所谓定性评价主要是采取专家同行评议法对学术期刊进行直接分级或排序，迄今为止仍然被认为是一种较好的评价方法。定量评价方法包括三大类，一是单一指标评价，二是多属性评价，三是组合评价，学术期刊评价体系结构如图 1 所示。单指标评价又包括简单指标评价与复杂指标评价两大类，所谓简单指标，就是用来评价学术期刊的指标相对简单，如影响因子、基金论文比、被引半衰期等指标。所谓复杂指标，就是指学术期刊评价指标包含了传统简单指标所无法反映的信息，或者是简单指标的某种数学组合，如 Schubert et al. （ 1983 ）提出的 RCR 、 Braun Glanzel （ 1990 ）提出的 NMCR 、 Hirsch （ 2005 ）提出的 H 指数等等。多属性评价（ MAE, Multiple Attribute Evaluation ）一般又称为多指标综合评价，根据评价原理，又可以分为三大类：第一类是主观评价法，其基本原理是采用主观方法对指标体系进行赋权，然后将数据标准化后加权汇总，如专家会议法、德尔菲法、层次分析法等等。第二类是客观评价法，包括两种，一种是采用客观赋权法确定指标权重，然后进行加权汇总，如熵权法、变异系数法、复相关系数法等；另一种是不需要赋权的系统方法，如主成分分析法、因子分析法、 TOPSIS 等。第三种是主客观相结合的赋权法，首先采用主观赋权方法确定权重，然后采用系统方法进行综合处理，如 ELECTRE 法、模糊综合评价法、 PROMETHEE 等等。这里的系统方法主要指综合运用运筹学、模糊数学、系统工程等领域的方法进行评价。此外，还有一些学者将两种或两种以上的多属性评价方法进行有机融合，进行复合评价。如根据层次分析法确定权重，再采取加权 TOPSIS 法进行评价，这本质上仍然属于主客观评价。一些学者根据权重的赋值方法将评价方法进行分类是片面的，因为许多评价方法已经用不到权重了，比如 DEA 效率分析、主成分分析、因子分析等等。图 1 学术期刊评价方法体系组合评价就是将不同的多属性评价方法进行组合，又可以分为两大类，第一类是根据权重进行组合，其特点是将数种主观和客观赋权方法的权重根据某种规则进行组合，得到组合权重，然后再进行加权汇总，得到最终评价结果。第二类是将不同多属性评价方法的评价结果进行组合，又可以分为得分组合和排序组合两大类。不同评价方法由于原理不同，评价结果的内涵本质上是有区别的，绝大部分评价方法评价结果是得分，少部分评价方法评价结果是排序，如 BORDA 法、 ELECTRE 法等等。 2 学术期刊评价方法存在问题分析 2.1 不同评价方法评价结果不一致迄今为止，已经有几十种多属性评价方法，评价结果有的是排序，有的是分值。各种评价方法原理不同，大部分评价方法对适用条件选择较宽，少部分评价方法对适用条件选择略严。即使是一些对适用条件要求稍严的评价方法，也非常容易在学术期刊评价中得到应用，如主成分分析要求评价指标间相关性较高，对期刊评价而言，这不存在任何问题。因此客观上造成学术期刊评价方法众多，每种评价结果都不尽相同。 2.2 组合评价方法的种类也是无限的如果将每种评价方法的评价结果视为一个指标，那么若干种评价方法必然产生若干个指标，将这些指标进行组合实际上相当于多属性评价。由于多属性评价方法众多，加上还有大量的专门用于组合的组合评价方法，因此也会产生若干不同的组合结果，这是一个令人困惑的问题。 2.3 单纯应用客观评价法值得商榷由于主观评价法存在着人为因素，稳定性较差，因此涌现出很多客观评价方法，如熵权法、变异系数法、复相关系数法、主成分分析、因子分析、 DEA 数据包络分析等等。本质上，绝对客观的评价是做不到的，因为指标选取是主观的，某些指标本身可能也是主观的。客观评价类方法完全根据数据讲话，不考虑评价指标的相对重要性，较少考虑评价主体人的主观能动性，因此要慎重进行选用。当然，客观评价法要慎重选用并不意味着不用，比如可以作为组合评价方法，或者作为评价结果之一再进行组合。 2.4 基于相关系数的评价方法是有问题的基于相关系数的评价方法有 CRITIC （ Criteria Importance Through Intercriteria Correlation ）、复相关系数法等。学术期刊评价指标间是否相关，除了符合理论解释外，还必须通过统计检验，这两个条件必须全部具备。基于相关系数的评价方法根本就没有考虑这两个条件，也就是说，某些指标之间是不相关的，建立在指标相关基础上的评价方法当然是无法立足的。 2.5 一些基于运筹学的组合方法值得商榷根据决策方法的原理，所有的多属性决策方法都可以应用于多属性评价，基于运筹学的线性规划在组合评价中得到了越来越多的运用。对此我们要进行客观分析，如果是从经济学的角度，需要求解成本最小或利润最大问题，这是没有问题的，但是对学术期刊进行组合评价需要慎重，假设采用 4 种主客观赋权法对学术期刊进行评价，可以得到每个指标的权重取值范围，如果以此作为约束条件，求解使评价总分极大值的权重组合作为最终的权重组合结果，这是有问题的。因为评价重在采取同一标准对不同评价对象进行比较，不同评价方法的评价值之间是不可比的，采用线性规划意味着权重组合有无数种，这无数种评价方法之间是不可比的，没有理由可以说明权重组合使评价值极大的方案是最优的。 2.6 基于排序的评价不能用于组合评价从评价原理看，多属性评价方法又大致可以分为基于分值的评价和基于排序的评价，绝大多数是基于分值的评价，少部分是基于排序的评价，如 BORDA 法、 ELECTRE 、秩和比法等等。基于排序的评价的最大特点是这些评价方法虽然可以反映评价对象之间的优劣顺序，但难以反映评价对象之间的相对差距，即使有评价值，也反映的是某种排序结果，因此，基于排序的评价不能与基于得分的评价进行组合。 3 关于学术期刊评价方法的几点思考 3.1 定性评价仍然是重要的期刊评价方法定性评价仍然是非常重要的学术期刊评价方法。要获得较好的定性评价结果，必须动用大量的人力、物力和财力，选择学科领域内的大量专家进行同行评议。此外，对于学术期刊较多的学科，让任何一个专家对最好的期刊排序和选优，这是相对容易的，但如果对所有的期刊都进行打分和分级，确实也难以做到。由于成本高、工作复杂，加上评价不够精细，人们才开始用指标或指标体系进行定量评价。那么，采用定量评价方法的结果的可靠性如何检验呢？那还得依靠定性评价，只有经过定性评价检验的定量评价方法才是有效和可行的。 3.2 单一复杂指标评价应用前景广阔在学术期刊评价领域，国外学者更多地采用单一复杂指标进行评价，这方面发展比较迅速。单一复杂指标虽然只有一个指标，但是包含了更多的信息，虽然每个单一复杂指标各有所长，但可以同时采用不同的指标进行学术期刊的比较，互相取长补短，不一定非要采取指标体系得出唯一的综合评价结果。随着研究的深入，相信会有更多的单一复杂评价指标出现。 3.3 组合评价在学术期刊评价中应用将会越来越广泛组合评价比单一评价更科学，因为仅用一种方法进行多指标综合评价，其结果很难令人信服。对同一评价问题，不同的评价方法提供不同的有用信息，而且每一种方法都有自己的长处和缺陷，把多种评价方法进行适当组合，有利于发扬优点，弥补缺陷，使评价结果更为精确。而且还可以进行相互印证，检验不同方法的可靠性，使人更加信服。组合评价方法在学术期刊评价中应用虽然还比较少，但可以预见的是，今后该领域组合评价的应用将会越来越广泛，以往采用单一评价方法进行学术期刊评价将会越来越少。一些有缺陷的多属性评价方法不宜单独使用，但并不意味着在组合评价中不用。组合评价能克服单一多属性评价存在的不足，集中不同评价方法的优点，从而得出较好的评价结果。 3.4 组合评价与多属性评价相结合将会取得进展权重组合是组合评价中应用得较多的方法，如果将权重组合的结果不进行加权汇总，而是作为中间条件，继续采用一些多属性评价方法进行评价，如加权 TOPSIS 、模糊评价法等等，不失为一种很好的思路，今后这方面的研究会有所进展。这里是组合评价与多属性评价方法的结合，在权重的获取时采取的是组合评价方法，在评价结果的取得上采取的是多属性评价方法。 3.5 建议采用客观评价法进行组合评价组合评价方法很多，一些学者在进行组合时，对不同多属性评价方法的重要性进行权重赋值，然后再进行组合评价，这是值得商榷的。评价方法各有所长，组合的目的在于取长补短，方法之间一般难以确定优劣，何况数种有缺陷的评价方法组合后有可能产生令人满意的结果，因此，建议采用客观评价法进行组合。 3.6 基于排序的多属性评价方法要慎重使用因为基于排序的评价，其评价结果要么是排序，要么是排序值，无法反映评价对象之间的相对差距，因此，即使要进行组合评价，也只能采用基于排序的评价方法进行组合，这大大限制了组合评价的适用范围。此外，基于排序的评价方法丢失了评价数据中包含的许多重要信息，它比较适用于决策，因为决策重在选优或者选劣，评价重在比较。所以基于排序的评价方法无论从哪个角度都难以进行学术期刊的评价，基于评价结果得分的组合是组合评价的主要方式。 3.7 注意评价的有效性和简洁性的辩证统一将不同评价方法进行组合是一种较好的思路，那么应该选用多少种方法进行组合呢？只有少数多属性评价方法对适用条件要求相对较严，大多数多属性评价方法对适用条件要求很宽。也就是说，从理论上，对学术期刊评价可以轻易找出至少 20 种多属性评价方法进行评价，然后再进行组合，不仅工作量巨大，而且没有意义。学术期刊评价是典型的管理问题，在很多情况下，管理问题的解决只要求较优，不需要最优，必须在评价的简洁性和评价的有效性之间寻找到某种最佳平衡点，换句话说，最简单的最有效的评价方法才是最好的评价方法。建议分别在主观评价、客观评价、主客观评价方法中各选 1-2 种主流的评价方法进行组合即可，关于多属性评价方法的选择，俞立平（ 2008 ）提出了高区分度、低灵敏度、单调递增、高拟合度、公众接受原则、主客观结合原则、指标齐全原则、完全数据 8 个原则。 3.8 评价方法众多导致评价结果不一致问题也许不严重无论是多属性评价还是组合评价，都存在评价方法众多从而导致评价结果不一致问题，这个问题有多严重，有待于学术期刊评价实践的进一步检验。任何评价方法都有一定的灵敏度，即允许权重或指标值在一定范围内波动，但评价结果排序不变。灵敏度越低，评价结果排序对权重和指标值波动越不敏感，尤其在评价期刊数据较少的情况下。因此，如果进行学术期刊组合评价，在精选多属性评价方法和组合方法的基础上，即使组合评价方法有几种，也许会产生同一评价结果。 3.9 各种评价方法将长期共存下去定性评价、单指标评价、多属性评价、组合评价四大类评价方法将会长期共存下去，定性评价是最有效的检验其它评价方法评价结果的方法；单一简单指标评价可以用来比较学术期刊的某个侧面，单一复杂指标评价可以用来比较学术期刊的某几个侧面；多属性评价和组合评价都是用来评价学术期刊的总体表现的。选择多属性评价方法最好选用主客观相结合的方法，在评价数据较少的情况下采用多属性评价比组合评价更方便，而且结果也令人满意。组合评价比较复杂，工作量大，但它减少了评价工作的分歧，容易取得公认的结果。参考文献 E.Garfield, Citation Indexes in Sociological and Historical Research.American Documentation,14(1963).289-291. Weiping Yue 、 Concepcion S. Wilson . Measuring the citation impact of research journals in clinical neurology: a structural equation modeling analysis . Scientometrics,2004 （ 3 ）： 317-334 苏新宁 . 构建人文社会科学学术期刊评价体系 . 东岳论丛， 2008 （ 1 ）： 35-42 邱均平、张荣赵蓉英 . 期刊评价指标体系及定量方法研究 . 现代图书情报技术， 2004 （ 7 ）： 23-26 庞景安、张玉华、马峥 . 中国学术期刊综合评价指标体系的研究 . 中国科技期刊研究， 2000 （ 11 ）： 217-219 李凯扬、贾玉萍 . 基于 AHP 的期刊全文数据库的模糊综合评价 . 情报科学， 2005 （ 11 ）： 1688-1703 王小唯、杨波、潘启树 . 学术期刊质量评估的二次相对评价方法 . 编辑学报， 2003 （ 6 ）： 231-232 李修杰、陈景武 . 运用判别分析法建立的期刊评估指标体系 . 江西图书馆学刊， 2006 （ 3 ）： 48-50 王玖、徐天和 . 秩和比法在医学学术期刊学术质量综合评价中的应用 . 数理医药学杂志 2003 （ 3 ）： 266-267 陈汉忠 . 主成分分析在学术期刊评价中的应用 . 中国学术期刊研究， 2004 （ 6 ）： 658-660 凌春艳、莫琳 . 自然科学学术期刊质量指标体系的属性数学综合评价模型 . 数学的实践与认识， 2004 （ 5 ） :1-7 李继晓、蔡成瑛 . 对各种核心期刊评价方法的分析 . 中国学术期刊研究， 2006 （ 2 ）： 253-256 毛定祥 . 一种最小二乘意义下主客观评价一致的组合评价方法 . 中国管理科学， 2002 （ 5 ） :95-97 徐泽水，达庆利 . 多属性决策的组合赋权方法研究 . 中国管理科学， 2002 （ 2 ）： 84-86 彭猛业、楼超华、高尔生 . 加权平均组合评价法及其应用 . 中国卫生统计， 2004 （ 3 ）： 146-149 刘丽、张礼兵 . 基于遗传算法的组合评价模型 . 合肥工业大学学报自然科学版， 2004 （ 8 ）： 899-902 马溪骏、李敏 . 基于兼容一致性方法集成组合评价研究 . 中国管理科学， 2006 （ 10 ）： 20-23 陈衍泰、陈国宏、李美娟 . 应用合作博弈确定组合评价权重系数的方法研究 . 中国管理科学， 2005 （ 6 ）： 89-94 郭亚军、易平涛 . 一种基于整体差异的客观组合评价法 . 中国管理科学， 2006 （ 3 ）： 60-64 陈伟炯、都育国、秦庭荣 3 人，等 . 港口航行安全环境组合评价研究 . 交通运输工程学报， 2005 （ 3 ）： 75-77 李美娟、陈国宏、陈衍泰 3 人，等基于粗糙集的组合评价方法研究 . 中国管理科学， 2005 （ 10 ）： 128-31 张国权、李文立、王明征 . 基于离差函数和联合嫡的组合赋权方法 . 管理学报， 2008 （ 5 ）： 376-380 SCHUBERT A., GLANZEL W., Braun T. Relative citation rate:A new indicator for measuring the impact of publications. In: D.Tomov, L. Dimitrova (eds),Proceeding of the first national conference with international participation on scientometrics and linguistics of scientific text, Varna . 1983 ： 80-81 BRAUN T., GLANZEL W. World flash on basic research. A topographical approach to world publication output and performance in science . Scientometrics,1990 （ 19 ） :159-165 Hirsch,J.E. An index to qualify an individuals scientific research output. Proceeding of the national academy of sciences USA . 2005,102:16569-16572 俞立平，潘云涛，武夷山 . 比较不同评价方法比较结果的两个新指标 . 南京师范大学学报（自然科学版）， 2008 （ 3 ）： 135-140 PDF下载

个人分类: 科学计量|12260 次阅读|1 个评论

渐入歧途的多属性决策（评价）

热度 1 yuliping 2008-9-15 15:52

最近从事科技评价领域的相关研究，看了不少文献，感觉基于方法论的角度，多属性决策（评价）存在不少问题，正误入歧途。本不想进行讨论，因为这些文献多发表在国内一流的期刊上，作者许多也是国内一流的管理工程、系统工程、数学大家，如果本人存在异议，肯定是才疏学浅，然而不说又如鲠在喉，因此，以博客的方式在此提出，欢迎各位学者讨论。一、假设方向出现偏差任何学科的研究，总是要有基本假设，比如初等物理往往假设没有空气阻力；经济学的研究假设完全市场竞争、信息完全等；计量经济学中的无异方差假设等等。假设往往有数条，随着研究的深入会逐步放松这种假设，然后进行深入研究。也就是说，假设的应用是一个由紧到松、由多到少的过程。但是在评价中，假设的做法刚刚相反，存在着由少到多的趋势，虽然和其他学科相差较大，似乎也未尝不可。但一味这样下去是荒唐的，比如区间数和属性权重完全未知的决策，这种情况可能吗？任何人做任何决策，他（她）总会有属性的偏好，完全未知是不可能的。又如，属性值是区间数、属性权重未知、方案有优先序（初步决策结果）的决策，更加不可能。既然方案已经有了优先序，那是谁给的？用什么方法给的？如果这种优先序本身不科学，要它何用？如果本身还有一定的价值，就应该重点研究这种优先序的确定的方法，进而优化，而不是基于以上三个假设继续做没有意义的公式推导。由于评价的复杂性，各种假设之间进行排列组合会产生几乎无穷多的组合方式，当然会产生无穷多的论文，有意义吗？当然，基于可行的假设所做的研究不仅有意义，而且是必须的。二、决策中使用线性规划求解权重务必慎重在多属性决策中，几乎 60% 的文献都用到了线性规划，在一些投入最小或利润最大的多目标决策（变量连续）中，线性规划的应用是有意义的，有时可能是唯一的方法。但是在多属性决策中，很多情况下这样做是没有理论依据的。比如给定属性权重为一定范围，需要确定属性权重，用线性规划求解，设定评价值最大，约束条件是权重的取值范围以及权重之和为 1 。可以这样做吗？我们知道，在给定一种权重组合的情况下，当然是评价值越大越好，问题是本例的问题讨论的正是如何确定这种权重的组合，换句话说，权重的组合有无限多种，如果我们比较不同权重组合的评价值，相当于比较不同评价方法的得分，这是不可比的，岂不荒唐？这里的概念被巧妙偷换了，出现了逻辑错误。三、不同专家设置不同的权重其实，这也是假设设定偏差的例子。一些多属性决策（评价）中，往往设定不同的专家有不同的权重，专家越权威，权重越高。我不知道采取什么方式来设定专家的权重？是不是也要建立一套专家权重赋值的指标体系？更不知道现实生活中哪个单位这样做过。给专家设定权重，我狭义地可以理解为对专家最大的不尊敬，科学网上我们可以做个民意测验，看看有几个专家同意这种做法。此外，专家给指标体系赋权本身也是个循环过程，往往要向专家公开你的权重组合方式，一旦专家知道了每人的权重不同，恐怕请外交部部长做评议组组长他都难以胜任。四、多属性决策（评价）的实际应用较差纵览文献，多属性决策（评价）的成果相当丰富，可以用辉煌来形容，但是实际应用呢？奥运会中的体操比赛，国家级的唱歌比赛，诸位哪个看到了什么复杂的评价方法？现在计算机普及很好，速度很快，肯定不是因为某种方法计算量大而不用。那问题出在什么地方呢？是不是我们可以做这样的假设，很多复杂的决策（评价）方法，可能本身是难以被接受的。决策也好，评价也好，恐怕更多的精力应该用在基础信息的搜集上，用在竞争情报的处理上，我们几乎看不到有哪些重大决策是用什么复杂方法做的（本质上，决策都是根据若干指标进行判断，都是评价），所以我们应该好好反思一下决策（评价）方法的应用问题。五、决策（评价）方法的正确性检验许多文献在进行一定的假设和数学推导后，往往给出一个算例，用来说明方法的正确性。在很多情况下，这种验证是无法立足的。决策（评价）结果是否正确一般情况下是难以检验的，即使可以检验，也不是通过数学可以证明的，比如，对中国大学进行评价，北大、清华排在前两位，这一点似乎没有争论，这是公众接受的，因此，某些评价结果能得到公众接受更为重要，公众接受可以说是最好的检验方法，遗憾的是文献中少有提及。此外，即使可以用数据检验，有时由于数据本身的问题，可能也会掩盖方法的问题，因为牵涉到决策（评价）方法的论文一般都集中的系统工程、数学等期刊上，许多学者的数据是一种假设数据。我在博客中讨论过社会科学研究中的理论研究和方法研究问题，本文讨论的可能更多是理论和应用问题，希望多属性决策（评价）领域要注意这个问题，脱离应用的理论和方法都是没有意义的。 2008.9.15 ． 15 ： 50 于邗上俞立平

个人分类: 科研心得|6296 次阅读|3 个评论

帐号		自动登录	找回密码
密码			注册

关闭安全验证

标签: 多属性评价

相关帖子

相关日志

关闭 安全验证

标签: 多属性评价

相关帖子

相关日志

关闭安全验证