结合全文本分析的论文影响力评价

杨思洛 聂颖

1. 武汉大学信息管理学院  2. 武汉大学中国科学评价中心

2020年2月，教育部、科技部陆续下发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》、《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》等文件，要求落实“除四唯，破五唯”，体现了国家对科学研究和科技评价的重视。学术论文是科研成果的重要形式，也是科学研究的重要产物;而学术论文评价是学科、期刊、学者等其他层面评价的基础，科学合理的论文评价能促进科学研究良性循环与正向发展。

影响力是论文评价的重要内容。全文本分析法打破了同等看待不同引文的传统，超越了传统的被引频次和新兴的Altmetrics频次指标等所在的计量分析层面；从内容分析和语义理解入手，深入剖析引文、评论文本等全文本内容，实现了定量与定性的结合，提高了论文评价的深入性、准确性和全面性。

一、论文影响力评价模型构建

本研究提出一种结合全文本分析的论文影响力评价模型。在学术影响力和社会影响力二维评价模型基础上，将其拓展为结合全文本分析的论文影响力评价模型：将全文本类指标，包括次数类、位置类和情感类融入其中，对引文内容和Altmetrics文本内容的语法及语义进行分析。有关引文计量和内容分析指标可成为论文学术影响力指标，包括引用强度、引用位置和引用情感；有关Altmetrics计量与内容分析的指标可作为论文社会影响力指标，包括提及强度、提及情感，以此实现对论文影响力全面、深入、准确的评价。

图1 论文影响力评价模型

（一）论文学术影响力指标

基于全文本分析的学术影响力指标对应引用强度、引用位置和引用情感，涉及语法和语义两个层面。其计算公式如式(1)所示，Wp代表引用位置权重，Ws代表引用情感权重，Nc代表特定引用位置和引用情感对应下的引用强度。

表1 引用位置的划分标准

表2 引用情感的判别标准

表3 引用位置权重分配

表4 引用情感权重分配

（二）论文社会影响力指标

论文在社交媒体平台传播时，会获得评论、转发和分享，以及媒体或政策文件的提及和报道。相关文本内容可能包含发布者对论文的评价，但这种文本的结构较难统一。因此，本研究的论文社会影响力指标对应着论文在Altmetrics中的提及强度和提及情感。

1）可用指标筛选：部分社交网络平台的低普及性不高导致相关指标数据较少，不宜参与到评价中。因此，本研究以不少于25%的指标覆盖率筛选出m个可用指标（A1，…，Am），计算论文在各指标对应平台中的总提及强度R。

2）指标权重计算：利用主成分分析法为m个指标分配权重，其前提条件为大部分指标提及强度的相关系数大于0.3。在此基础上，提取出累计贡献率大于80%的n个主成分:F1，…，Fn，对应特征根为λ1，…，λn，总和为λ；以各个指标在各主成分中的载荷Pmn为基础，通过式(2)和式(3)计算综合得分系数和各指标权重。同时笔者还需要为提及情感分配权重，本研究暂时应用前文的引用情感权重Ws。最后得出基于全文本分析的社会影响力计算公式(4)。Rs代表论文在第m个Altmetrics指标中获得特定提及情感时对应的提及强度。

二、论文影响力评价的应用与结果分析

（一）数据获取及处理

本研究的论文样本为《PLoS Medicine》2019年被引前50的文章。引文全文数据来源于WOS、Google Scholar等，共有1003篇，分析示例见表5。

表5 引文文本分析实例

Altmetrics数据来自PLoS平台。Spearman相关性分析表明Twitter、Facebook、News Outlets和Blog四种指标可参与主成分分析。最终论文社会影响力计算公式(5)，如下所示:

（二）论文评价指标结果分析

1）引用强度分布。被引频次和引用强度之间存在一定差异。50篇文献共被引1003次，篇均被引20.06次;引用强度总和为1583次，篇均引用强度为31.66。每篇被引文献在单篇施引文献中平均被提及约1.6次，与李铮等的研究结果相似。施引文献在正文中多次提及同篇参考文献的现象较为普遍。因此，深入文章内部统计文献出现次数更能真实反映文献被引情况，优化传统计量指标。

表6 引用强度的具体情况

2)引用位置分布。不同位置的引文对施引文献的作用不同，获得的学术影响力理应不同。引用语句在结论与讨论部分出现的最多，占比40%;其次是引言部分;占比最少的为结果部分，只有8.96%。作者撰写学术论文时需要在引言中引用若干文献以引出问题并对研究现状进行概述;在数据与方法部分，作者通常会使用特定文献的数据、方法;在结果部分，作者主要是对实验结果进行分析和对比;在结论与讨论部分，作者会引用他人研究做进一步论述和展望。

表7 引用位置的具体分布

3)引用情感分布。引用情感的分布差异代表不同引文对施引文献的参考价值不同，可反映引文的不同学术影响力。研究结果表明87%的引用为中性引用，方法部分的正面引用比例最高，论文作者在这部分会应用被引文献中提供的数据和方法。其次是引言和结论与讨论两部分，作者通常会在引言中表达对被引文献的肯定，在结论与讨论部分通过比较研究结果，用以支持研究结论。整体来看，施引文献作者在撰写论文时措辞较为严谨，不会表现出明显的情感倾向，多是客观描述被引文献的研究结果和结论。

表8 引用情感的具体分布

4)论文Altmetrics数据情况。所有论文都在Twitter平台获得了转发或讨论;68%的论文获得了新闻报道;54%的论文在Facebook上得到了关注;42%的论文被博客文章提及或引用。指标覆盖率初步说明，Twitter平台的学术交流活动更活跃，是一个利于扩大论文社会影响的平台。但从均值和离散程度看，不同论文得到的关注程度存在较大差异，获得的社会影响力会有很大不同。

表9 Altmetrics指标的具体情况

（三）论文影响力评价结果分析

50篇被引文献的学术影响力和社会影响力得分及排名如表10所示。论文2的学术影响力最大，得分为6.58，引用强度高达105，篇均被提及约1.9次。社会影响力最大的是论文17，得分为73.06，其中Twitter和Facebook指标值为255和14，News Outlets和Blog指标值为35和5，远超指标均值，说明该论文在各平台上都受到了较多关注，社会影响广泛。

表10 论文学术影响力与社会影响力得分及排名

为综合评价论文影响力，检验本评价模型的评价效果，以学术影响力为X轴，社会影响力为Y轴，绘制散点图。同时以两个指标均值为划分标准，将散点图分为4个区域，分别代表普通型、明星型、专业型和名作型论文。从图2可看出论文分布呈发散状，多数论文集中在两轴交点区域，即学术和社会影响力均较低的普通型论文，剩余论文则向周围扩散分布。

图2 论文分布散点图

表11  4种类型的论文影响力具体情况

综合来看，明星型论文的社会影响力要优于普通型论文，学术影响力却较低。原因可能是引发广泛关注的论文的科普性或应用性较强，能激发传播交流的兴趣，但相应的学术参考和引用价值就会偏弱。例如代表论文17（Cost－effectiveness of Financial Incentives for Improving Dietand Health Through Medicare and Medicaid）是关于饮食健康、医疗保险和补助等与大众生活紧密相关的话题。专业型论文的较高学术影响力在一定程度上代表着较强的专业性，很可能是领域的基础理论或创新成果。此类论文易读性较低，导致普通读者讨论欲望减小，社会影响力也就偏低。例如论文4（COSMOS－E:Guidance onConducting Systematic Reviews and Meta－analyses ofObservational Studies of Etiology）的研究目的是为科研工作者撰写病原学领域系统性综述提供步骤指导，其专业性强且具有高参考价值，但普通读者发表评论和意见的难度较大。名作型论文有高学术影响力和社会影响力。其不仅是领域研究者关注的焦点，更是大众讨论的热点。例如论文7（Women's andGirls'Experiences of Menstruation in Low－and Middle－income Countries:A Systematic Review and Qualitative Meta－synthesis）是一篇关于中低收入国家女性月经情况的定量与定性综述，有助于学者把握研究现状和发展趋势。同时，女性健康也是大众关注并可参与讨论的话题。

因此，本研究提出的论文影响力评价模型在一定程度上可以区分出不同特点的论文，实现对论文的综合评价，具备可用性和有效性。

三、与其他评价方法的比较分析

为体现评价模型的全面性、深入性和准确性，本研究分析了论文学术影响力、社会影响力、与被引频次和引用强度间的相关性。结果表明学术影响力与被引频次和引用强度为显著强正相关，相关系数分别为0.755和0.951，表明学术影响力指标在很大程度上能代替被引频次指标。从数据重复率看，被引频次的重复率为60%，引用强度重复率降为32%，而学术影响力指标仅有18%，说明绝大部分文献的学术影响力得分互不相同。

表12 相关性分析

1）被引频次与学术影响力。两者的整体趋势为“由高到低”，但学术影响力的折线更加曲折多变。这种高区分度得益于评价模型基于全文本分析引入了引用位置和引用情感两个指标，并为其设置了权重。因此，学术影响力指标能够利用权重分配带来的数学运算优势，使论文学术影响力评价趋于深入准确，不同论文学术影响力得分更具差异性和区分度。

图3 学术影响力—被引频次折线图

2）学术影响力与引用强度。两者变化曲折且相似，但仍存在细微差异。例如论文4的引用强度为58，但学术影响力比引用强度为87的论文7略高。论文7是一篇系统综述，多在引言部分被引且引用情感多为中性。论文4是方法指导型论文，许多施引文献在方法部分应用了其提出的研究步骤和方法等，其为正面引用，造就了论文4的高学术影响力。因此，不论是对比传统的被引频次或是引用强度，基于全文本分析的学术影响力指标不再止步于“数量”，而是剖析引文“质量”，能更细致深入地反映论文的真实学术影响力。

图4 学术影响力—引用强度折线图

3）社会影响力。社会影响力指标和被引频次为显著弱正相关（显著性水平α=0.05），与引用强度、学术影响力不存在显著相关性。这说明一方面，社会影响力指标与被引频次指标在量化论文影响力时仍存在交叉。若本研究仅选取被引频次作为学术影响力指标，便会与社会影响力指标的评价维度重叠，其独立性和代表性8降低。另一方面，社会影响力指标和学术影响力指标之间关系独立，能真正实现同时评价论文的学术影响力和社会影响力，达到本研究的目的。由此可见，社会影响力指标会是评价论文影响力的有效补充，本研究提出的评价模型能够较好地从学术和社会两个层面全面反映论文影响力。

作者简介

杨思洛，博士，武汉大学信息管理学院教授、博士生导师。

聂颖，武汉大学信息管理学院图书馆学专业硕士研究生。

注：本文由聂颖、金红梅摘自论文（杨思洛,聂颖.结合全文本分析的论文影响力评价模型研究[J].现代情报,2022,42(03):133-146.）

 https://kns.cnki.net/kcms/detail/detail.aspx?FileName=XDQB202203015&DbName=CJFQ2022