科学网 › 标签 › 深度学习 › 相关日志

标签: 深度学习

相关日志

[转载]深度学习在流程工业过程数据建模中的应用: Kara0807 2020-7-24 15:00; 【摘要】深度学习是近年来发展的人工智能技术。相比于传统浅层学习模型，深度学习具有强大的特征表示和函数拟合能力。深度学习能够从海量数据中提取层次特征，其在流程工业过程数据驱动建模中具有较大的潜力和应用前景。首先简单介绍了深度学习的发展历程；然后，介绍了4类广泛使用的深度学习模型以及它们在流程工业过程数据建模中的应用；最后，在流程工业过程数据建模领域对深度学习进行了简要总结。【关键词】流程工业 ; 深度学习 ; 数据解析 ; 数据建模【引用格式】袁小锋,王雅琳,阳春华, 等. 深度学习在流程工业过程数据建模中的应用 . 智能科学与技术学报, 2020, 2(2): 107-115. YUAN X F, WANG Y L, YANG C H, et al. The application of deep learning in data-driven modeling of process industries . Chinese Journal of Intelligent Science and Technology, 2020, 2(2): 107-115. 1.引言流程工业是我国的基础原材料工业，主要包括冶金、钢铁、化工、石油和造纸等行业。作为制造业的重要组成部分，流程工业是我国国民经济和社会发展的支柱产业。经过数十年的发展，我国流程工业的生产工艺、装备和生产过程自动化水平都得到了大幅提升。现今，我国已成为世界上门类最齐全、规模最庞大的流程工业大国。在德国“工业4.0”和美国的“再工业化”等战略背景下，我国流程工业生产正朝着智能制造的目标发展。流程工业智能制造的关键是实现生产过程建模、控制、优化和决策的智能化。其中，过程建模是实现智能制造的基础，也是智能控制和优化的先决条件。由于现代流程工业过程的大规模化和复杂化，传统基于机理分析和专家经验的方法无法准确获取过程模型，不能满足产品质量预测、生产过程监测和故障诊断的准确性和实时性需求，这将严重导致过程控制、优化和管理决策的滞后。随着数据采集、网络通信和数据存储等技术的飞速发展，流程工业生产过程不断积累大量的数据，其中蕴含丰富的过程知识和价值信息，为数据驱动建模提供了数据基础。流程工业大数据具有高维非线性、高速多采样性、动态时序性等复杂特性，如何从生产过程大数据中挖掘和实现数据的真实知识和价值，并指导实际过程生产，是数据驱动建模的难点。近年来，深度学习技术在互联网、信息通信、金融等领域取得了巨大成功，并正在深刻改变社会生活和世界格局。深度学习通过深层网络结构对低等级特征进行变换或组合来获得更高等级的抽象特征，从而学习出具有层次结构的深度特征，具有更优异的特征学习能力和获取更本质的数据特征的能力。因而，深度学习在流程工业数据建模中有着广泛的应用。本文主要集中于深度学习在流程工业数据建模中的软测量与故障诊断研究。软测量技术被广泛用于流程工业过程中的质量指标估计和预测，主要利用工业过程数据建立难以直接测量的质量变量与易于测量的过程变量之间的数学模型。利用该模型可以实现对难以测量的变量的实时在线预测。相比于传统的机理建模，建立基于深度网络的软测量模型不需要对工艺流程和机理有明确的认识，而且相较于浅层模型，深度学习模型具有更强的复杂函数逼近能力，故而能够很好地解决过程的非线性、时变性、动态性等问题，在质量预测任务中有更高的预测精度。故障诊断技术可分为故障检测（过程监测）、故障识别和分类等。在流程工业过程故障诊断领域，深度学习有广泛的应用前景。过程监测通过收集工业过程中的历史数据，利用各种数据分析处理方法挖掘过程变量的重要信息，提取正常操作和故障条件下的数据特征表示，进而建立过程监测模型，对流程工业生产过程进行实时监测，判断生产过程是否存在异常，从而指导生产操作，确保生产的安全、稳定运行。如今，现代工业系统愈发复杂，使用基于解析模型和传统数据驱动模型的过程监控方法得不到满意的监测效果。目前，在现代工业工厂中，不同的操作单元可测量大量反映工业过程操作状态的变量，从而给基于深度学习的过程监测提供了契机。因此基于深度学习的过程监测可以从工业生产的大量过程数据中提取有用信息，用于判断系统的运行状态。此外，还可以利用深度学习实现工业过程的故障诊断与分类，通过分析过程的历史数据发现设备运行中的异常，并分析故障情况，从而及时根据故障类别对设备进行维护，以保障设备的正常运行。现代工业生产中各种设备组件之间的复杂的、强耦合的相关关系以及各种复杂的环境因素使得故障的发生具有随机性、不确定性以及并发性等，传统的故障诊断方法难以解决上述问题，误诊概率较大。深度学习能够学习到数据的有用特征表示，发现数据的本质结构，学习到对任务有用的信息，因而在故障诊断中具有更高的精度。随着深度学习技术在流程工业中的发展，深度学习在流程工业过程数据建模中具有巨大的潜力，将进一步在流程工业智能化中发挥巨大的推动作用。本文主要阐述深度学习的发展历程、典型深度学习模型及其在流程工业中的应用，并对深度学习在流程工业过程数据建模领域的工作进行简要展望。 2. 深度学习发展历程深度学习作为机器学习的重要发展产物，其发展历程与机器学习密不可分。在深度学习之前，机器学习领域已发展出了各种学习模型，如以主成分分析（principal component analysis，PCA）和偏最小二程（partial least squares，PLS）回归等为代表的线性模型，以支持向量机（support vector machine， SVM）、核方法等为代表的非线性模型。相比而言，传统的机器学习方法大多属于浅层学习模型，其模型结构一般不超过一个隐藏层。浅层学习模型能够有效地解决一些情况简单或条件简单的问题。但是在面临一些更复杂的问题时，浅层学习模型的函数表达能力和建模效果将受到限制，无法满足复杂场景下的建模要求。深度学习是一种多层次结构学习模型，其通过对原始信号进行逐层非线性特征变换，将样本在原空间的特征表示变换到新的特征空间自动地学习层次化的特征表示，从而更有利于解决分类或回归等特定问题。深度学习是人工神经网络的一个重要分支，具有深度网络结构的人工神经网络是深度学习最早的网络模型。总体而言，人工神经网络的发展经历了3个阶段。第一阶段：人工神经网络思想起源于 1943 年的人工神经元数学模型，该模型希望能够使用计算机来模拟人的神经元反应的过程。1958 年， Rosenblatt 提出了感知器（perceptron）算法，并提出利用 Hebb 学习规则或最小二乘法来训练感知器的参数，该模型被用于解决多维数据二分类问题。1969年，美国数学家Minsky 在其著作中证明了感知器本质上是一种线性模型，只能处理线性分类问题，不能处理非线性分类问题。自此之后的十几年，神经网络的研究陷入了一段低潮时期。第二阶段：在1974年，Werbos 提出采用反向传播法来训练一般的人工神经网络。1986年，加拿大多伦多大学的Hinton教授等人在其基础上设计了适用于多层感知器（multi-layer perceptron，MLP）的反向传播算法，并采用Sigmoid激活函数进行非线性映射，有效解决了非线性分类和学习的问题。自此，神经网络进入第二次研究热潮。但是，反向传播算法对具有多隐含层的神经网络的模型参数的学习效果并不好，基于梯度下降的反向传播法很容易在训练网络参数时收敛于局部极小值。因而，部分研究学者开始探究通过改变感知器的结构来改善网络学习的性能。1995年，Vapnik教授等人提出了著名的支持向量机（SVM）模型，并发展出了核技巧的 SVM 模型，在非线性分类问题上取得了比神经网络更突出的效果。因而，神经网络的研究又进入了一段寒冬时期。第三阶段：2006年，Hinton教授等人首次提出了深度学习技术，通过无监督逐层预训练和有监督训练微调，能够有效地解决深层网络训练过程中的梯度消失和梯度爆炸问题。2012年，以卷积神经网络（convolutional neural network，CNN）为基础的 AlexNet 模型在国际 ImageNet 图像识别比赛中一举夺冠，极大地降低了图像识别的错误率。自此，深度学习受到各个领域研究人员的关注，并再次引领了人工智能的研究热潮。 3. 深度学习模型及其在流程工业中的应用 3.1 深度置信网络深度置信网络（deep belief network，DBN）是最早提出的深度学习模型，是一种无监督概率生成模型。DBN 由多个受限玻尔兹曼机（restricted Boltzmann machine，RBM）堆叠而成，其基本结构如图1所示。其基本组成单元——受限玻尔兹曼机是一种由可见层和隐藏层组成的基于能量的概率图模型，对于一组给定的状态（v,h），其能量函数 E(v,h) 可表示为：其中， v 和 a 分别为可见层的状态向量和偏置向量， v = ( v 1 , v 2 ,…, v i ,…, v m ) ， a = ( a 1 , a 2 ,…, a i ,…, a m ) ， h 和 b 分别为隐藏层的状态向量和偏置向量， h =( h 1 , h 2 ,…, h j ,…, h m ) ， b = ( b 1 , b 2 ,…, b j ,…, b m ) ， w 为隐藏层和可见层之间的权值矩阵， w = { w ij } 。图1DBN的基本结构由上述能量函数可给出状态（v , h）的联合概率分布：其中，参数集合 θ ={ v , h , a , b , w } ，Z θ 为θ的配分函数， E θ ( v , h ) 为θ的能量函数，其与能量函数 E ( v , h ) 在数学计算上并无本质不同。由此，可计算得到对应 v 和 h 的边缘分布（似然函数）：因此，在给定可见层或隐藏层的神经元状态时，可计算对应隐藏层或可见层的神经元被激活（即取值为1）的概率：其中，f(.)为激活函数。最后，采用最大化似然函数的方法求解得到RBM 的参数，使得在该参数下得到的概率分布尽可能与样本的分布一致。为简化该计算过程，优化过程使用了对比散度（contrastive divergence，CD）算法。其原理是：通过隐含层对样本数据进行特征提取，并对可视层和隐含层神经元进行吉布斯（Gibbs）采样。在CD-k算法中，参数k为执行步数，训练RBM时k的值通常设为1，RBM执行一步对比散度计算后的权值增量为：由输入层、隐藏层和输出层组成 DBN 模型的训练可分为无监督逐层预训练和有监督微调2个步骤。在无监督逐层预训练阶段，主要通过逐层贪婪训练方法对多个受限玻尔兹曼机进行逐层训练，单个RBM训练时的参数更新过程如式（8）~式（10）所示。首先从输入层引入原始输入数据，由输入层和第一隐藏层组成第一个受限玻尔兹曼机RBM-1，通过最小化RBM-1的可视层观测数据的能量函数对其进行预训练。RBM-1预训练完成后，再将其隐藏层的输出作为 RBM-2 的输入，继续对 RBM-2进行预训练。以此类推，可逐层对整个 DBN 进行预训练。在整个预训练中，只用了输入数据，而未涉及数据标签，因而该过程被称为无监督预训练。预训练完成后，在 DBN 模型顶层加上特定任务的输出层，将预训练阶段的权重参数作为整个网络的初始参数，以数据标签信息最小化为目标，通过反向传播算法可对整个网络参数进行微调整。通过无监督逐层预训练和有监督微调，DBN可对原始输入数据的深层抽象特征进行学习，其在流程工业过程软测量、过程监测和故障诊断等方面有广泛应用。例如，Shang 等人建立了基于 DBN的软测量模型，其分析了深度学习模型相较于传统机器学习模型在流程工业过程软测量建模方面的优势，并将其用于原油蒸馏装置中柴油95%分馏点的预测，实验结果证明 DBN 能够取得比传统方法更好的预测效果。刘瑞兰等人建立了基于深度置信网络的精对苯二甲酸（pure terephthatic acid， PTA）工业生产过程中4-CBA预测的软测量模型。康岩等人提出了基于 DBN-ELM 的球磨机料位软测量方法。Liu等人提出了基于DBN的燃烧系统氧含量预测方法，其通过设计多层 DBN 结构，提取燃烧系统火焰图像的多层特征描述来估计氧含量。Yuan等人建立了基于DBN的冶金烧结过程的烧结成品矿成分含量预测模型，其提出的深度置信网络模型通过多层特征提取，挖掘出数据的本质特征，利用远超浅层网络的复函数逼近能力较准确地完成了基于复杂工业数据的质量预测建模；在故障检测与诊断方面，Zhang等人提出了基于深度置信网络的化工过程故障诊断模型。针对高炉冶炼系统复杂性特点，结合深度学习在处理复杂分布数据、提取特征等方面的优势，赵辉等人提出了一种基于深度置信网络模型的高炉炉况分类方法。葛强强针对目前多维时间分类方法没有考虑多维时间序列变量之间重要性联系以及不同样本矩阵约减后维数不完全对应的问题，将共同主成分分析（common principle component analysis，CPCA）和动态时间规整（dynamic time warping，DTW）方法引入DBN模型，提出了基于CPCA_DTW_DBN 的多维时间序列故障诊断方法，在公开数据集和田纳西-伊斯曼过程故障案例中取得较好的分类效果。Wang等人提出了一种扩充DBN模型的化工过程故障分类模型，在预训练阶段通过逐层加入原始数据信息，可以更有效地提高特征提取和故障分类预测能力。 3.2 堆栈自编码器深度学习策略在DBN上取得成功后，该思想被进一步延伸到其他深度网络。通过将DBN结构中的基本RBM模块替换成自编码器（autoencoder，AE）单元，构成了堆栈自编码器（stacked autoencoder， SAE）深度网络。图2分别给出了AE和SAE 的基本结构。其中，AE 是单隐含层神经网络，且输出层重构其自身输入变量。在自编码器中，输入层到隐藏层部分称为编码器，隐藏层到输出层部分称为解码器。编码器将输入数据x由非线性函数f 编码为隐层特征h，解码器利用非线性函数 ˜f 将h解码为 ˜x 。因此，自编码器的目标函数为：其中， W 、 b 分别为编码器的权值矩阵和偏置向量； ˜ W 、 ˜ b 分别为解码器的权值矩阵和偏置向量；N 是样本总数，x i 和 ˜ b 分别为样本值和自编码器的输出值。AE 以最小化输出层对其输入数据的重构误差为目标，通过反向传播算法进行网络参数训练和学习。因而，AE 是一个无监督特征自学习网络。类似于DBN，SAE深度网络的训练也分为无监督逐层预训练和有监督微调2个步骤。在无监督逐层预训练阶段，网络从底层第一个 AE1 开始训练，训练完后将其隐藏层的输出作为AE2的输入，并对AE2进行训练。以此类推，逐层训练，直至最顶层AEK训练完成。预训练完成后，各AE的编码器部分被保留在SAE网络中，然后利用数据标签对整个网络进行有监督微调。图2AE和SAE的基本结构堆栈自编码器模型不依赖于过程标签数据，能够通过无监督逐层预训练获取海量输入数据的层次特征表示，其也被广泛用于流程工业过程数据建模。例如，针对原始SAE预训练学习无法学习与质量变量相关的深度特征，Yuan等人提出了变量加权SAE、混合变量加权SAE 和堆栈质量驱动编码器等模型的软测量方法，将输出的标签信息以不同形式引入网络预训练过程，可引导网络学习到与输出指标相关的层次特征，从而提高软测量模型的预测精度。邱禹等人提出了基于 SAE 深度学习的多输出自适应软测量建模方法。在过程监测与故障诊断建模中，Kong 等人提出了基于正则化自编码器的数据深度特征表示，并用于工业过程监测。Yan等人提出了教师和监督双重堆叠自动编码器模型，用于提取与质量相关的特征学习和工业过程故障监测。Yan等人提出用带标签的自编码器对神经网络进行监督，并结合k近邻算法进行可视化工业过程监测。蒋立提出了一种鲁棒自编码器模型及其故障检测方法以及一种基于反向传导的贡献度计算及其故障识别方法，可提高模型的重构误差对故障的灵敏度，且能避免对故障来源的错误识别。针对实际炼铁过程，Zhang等人提出了一种基于去噪自编码器的监控方法，该方法考虑了2 台不同的主热风炉之间切换引起的峰值扰动，并将所提方法在冷炉故障对应的数据上进行了验证。Zhang等人提出了一种堆叠去噪自编码器和 k 近邻规则的非线性过程监测方法，该方法利用堆叠去噪自编码器对非线性过程数据进行建模，并自动提取关键特征，然后通过堆叠自编码器将原始非线性空间映射到特征空间和剩余空间，通过引入k近邻算法，构造了上述空间中的2个新的统计量，并在一个非线性数值系统和TE基准过程中验证了该方法的有效性。 3.3 卷积神经网络 CNN是一种前馈型神经网络，该网络由卷积层和池化层交替堆叠而成。卷积神经网络是目前深度学习领域研究较广泛的模型之一，其在图像处理方面有突出的优势。图3给出了卷积神经网络的结构。在卷积层中，通过多个卷积核在输入数据中进行有规律的平移滑动，获得其低维表示的特征图。卷积核所处的输入数据的各个位置被称为感受野（receptive field）区域，其类似于视觉皮层细胞的感受野。卷积核的数量等于输出特征图的数量。假设输入特征图的宽和高分别为w 1 和h 1 ，n个卷积核的宽和高均为f，那么将得到n个输出特征图的宽w 2 和高h 2 为：其中，p为在输入特征图周围的零填充数，s为卷积核的步长。卷积运算是卷积核权值和感受野对应元素的加权和，输出特征图在坐标（i,j）的值定义为：图3卷积神经网络结构其中，w kl 为卷积核在坐标（w,l）处的权重， x ( k + i × s )( l + j × s ) 为输入特征图在坐标（k+i×s,l+j×s）处的值，w 2 、h 2 分别为输出特征图的宽和高。在卷积层进行特征提取后，输出的特征图将被传递至池化层进行特征选择和信息过滤。池化层包含预设定的池化函数，其功能是将特征图中单个点的结果替换为其相邻区域的特征图统计量。常见的池化操作有最大池化、平均池化等。池化操作没有任何参数，并且可以对池化层的输入特征进行进一步降维，因此池化层有利于降低网络的参数规模。将多个卷积层和池化层进行交替堆叠后，可构建深度 CNN 结构。CNN最高隐藏层输出的特征将被展开，并经过全连接层到达网络输出层，用于特定建模任务。不同于DBN和SAE等全连接神经网络，CNN 具有强大的局部特征学习能力，因而在局部特征学习方面有着比其他算法更高的优越性。相较而言，CNN在大型二维图像处理研究领域取得了巨大的成功，因而，CNN也被用于流程工业过程图像处理相关研究。例如，Horn等人将卷积神经网络应用于泡沫浮选过程中基于图像的软测量建模。但是，目前针对流程工业中过程变量数据的 CNN 建模较少，其主要原因在于流程工业过程的采样数据是以向量形式存在的，而不是二维数据形式。然而，通过对一维数据进行二维动态扩充， CNN 能够有效地对流程工业过程数据进行局部动态特征学习。例如，易令等人利用 CNN对国内某炼油厂的原油总氢物性进行回归预测。Wang 等人提出了将优先脉冲响应和 CNN 结合的有限冲激响应卷积神经网络用于动态过程软测量建模，并将该模型用于仿真算例和化工过程，结果显示有限冲激响应卷积神经网络能给出与质量相关的变量的最佳预测精度和最易解释的趋势。Wu 等人通过数据动态扩充，提出了基于 CNN 模型的化工过程故障诊断与分类方法。苏堪裂研究了基于卷积神经网络的化工过程故障诊断。Lee等人提出了基于 CNN 网络的半导体生产过程故障分类与诊断方法，这种方法使得第一卷积层的输出与原始数据的结构相关联，由此能够定位表示过程故障和时间信息，在一个化学气相沉积过程的实验中，该方法要优于其他深度学习模型。 3.4 循环神经网络循环神经网络（recurrent neural network，RNN）是一类以序列数据为输入，在序列的演进方向进行递归且所有节点按链式连接的神经网络。图4（a）给出了RNN模型的基本结构。不同于前述DBN、SAE、CNN 等模型，RNN 模型是一种时间序列模型，模型中样本之间具有时间关联性。而 DBN、SAE、CNN等模型的基本假设是数据之间不存在时间相关性，即所有样本服从独立同分布假设。因此，在 RNN 结构中，每个神经元不但可以接收当前时刻的信息，还可以接收其前面时刻的信息，形成具有环路的网络结构。假设当前时刻t的输入为x (t) ，前一时刻的隐状态为h (t1) -，则可以计算出当前时刻RNN单元的隐状态为：其中， W 和 V 为网络的参数矩阵， b 为偏置向量， tanh(.)为非线性激活函数。由隐状态可得到当前时刻t的质量变量预测值：其中， U 为输出层的权值参数矩阵， b y 为输出层的偏置向量。由于时间上的关联性，RNN参数的训练与前述深度网络训练方式不同，RNN采用基于时间的反向传播算法来学习，即按照时间的逆序把误差一步步往前传递。RNN是一种具有短期记忆能力的神经网络，其无法解决长期依赖问题，即当输入序列较长时，容易产生梯度爆炸或梯度消失问题。为了有效缓解该问题，在 RNN 的基本结构中引入了记忆细胞和门控机制，用于对历史信息进行存储以及选择性记忆。典型的基于门控机制的改进 RNN 模型包括长短期记忆（long short-term memory，LSTM）网络和门控循环单元（gated recurrent unit，GRU）等，图4 （b）为基本LSTM单元的结构。f、i、o分别表示LSTM 单元的遗忘门、输入门和输出门。假设当前时刻的输入为x (t) ，前一时刻的隐状态为h (t1) -，前一时刻记忆单元的输出为 c ( t − 1 ) ，则遗忘门、输入门和输出门的输出为：其中， W ∗ x 和 W ∗ x 分别为 3 个控制门与输入信息和前一时刻隐状态之间的连接权值矩阵， b f 、 b i 、 b o 为相应的偏置向量，σ(⋅)为Sigmoid激活函数。当前时刻的候选输入信息为：其中， b c 为当前时刻的偏置向量。图4RNN模型和LSTM单元的结构由此可更新LSTM单元的记忆细胞，并得到当前时刻的隐状态输出：由于复杂物理化学反应机理、反馈控制和动态噪声等因素，流程工业过程本身具有自然的动态特征属性。因而，通过连续采样获得的过程数据具有较强的时间关联性。为了描述过程时序动态特性，基于 RNN 的深度学习模型也被广泛用于流程工业过程数据建模。最开始，Su 等人将并行方法和RNN 结合的外部循环网络用于炼油厂污水生物处理及催化重整装置；Chen等人将RNN用于生物量浓度的在线预测，网络的输入变量为进料量、液体体积和溶解氧浓度，试验结果的精度为±11%；Zhao等人针对焦炉煤气运行优化问题，提出了基于高斯过程的长短期记忆网络，实现了对煤气实时流量和煤气柜液位的实时预测。近几年，随着经济的快速发展，人们对生产过程的经济、高效、安全提出了更高的要求，使得LSTM在流程工业软测量建模中得到了更加广泛的应用。例如 Fu 等人针对影响石灰石/石膏湿法烟气脱硫效率的主要因素，采用LSTM建立了脱硫效率预测模型；Han等人为了准确分析和评价乙烯生产装置在工业过程中的能源效率状况，提出了一种基于双向长短期记忆（bidirectional long short-term memory，Bi LSTM）网络的产量预测方法；Yuan等人提出了基于有监督LSTM网络和变量注意力机制LSTM网络模型的非线性动态过程软测量建模方法。Wang 等人将LSTM用于批次过程每个阶段的长时间序列中，用于提取与质量相关的隐藏特征，并对产品质量进行预测建模。Sun等人提出了基于DBN和RNN的概率序列网络，并将其用于复杂过程数据软测量建模。Kataria等人成功地将一种基于RNN的软测量模型用于反应精馏塔的监测和控制系统。 4.结束语大数据时代的到来使得数据驱动建模在流程工业智能工厂建设中发挥着至关重要的作用。深度学习作为大数据处理的核心技术之一，能够从海量过程数据中挖掘和学习到有用的层次特征表示，从而有效地提高数据驱动模型的性能。本文首先简单回顾了深度学习的发展历程，然后介绍了目前4种较为流行的深度学习基本模型，并对各个模型在流程工业过程数据建模中的应用进行了简要概述。深度学习作为机器学习的一个新领域，现在仍处于蓬勃发展时期。由于深度学习具有强大的数据处理和特征学习能力，其在流程工业过程数据建模中取得了一定的成效。但是，深度学习在流程工业过程这一特定领域的应用还有许多问题值得研究者们进一步深入探索和研究。例如，流程工业过程往往具有缓慢时变特性，其操作条件和数据模式也随着过程运行而不断发生改变。深度学习模型的性能在过程时变特性下将一步步退化，如何有效维持并提高过程时变特性下深度学习的建模精度和性能，是未来深度学习在流程工业研究领域的一个难点。此外，由于流程工业过程数据的动态时序性，数据样本之间存在较强的时间相关性。因而，如何建立有效的流程工业过程时间序列模型将是未来深度学习在本领域的重点研究方向之一。; 个人分类: 智能科学与技术学报|1112 次阅读|0 个评论

机器学习、计算机视觉的小伙伴看过来：更新新模块（IEEE 预印本已火，年热度top6）：梯度感受野-替换卷积？: Time 2020-7-22 10:12; 梯度感受野：人在看东西时，视野是有梯度的！现有神经网络卷积丢失了这一梯度，损失了位置信息。本模块补全；群编码：基于梯度编码，实现大脑网络模拟。 B站视频讲解：https://www.bilibili.com/video/BV1RV411B7aD/; 个人分类: 刘刚的个人主页|1910 次阅读|0 个评论

神经网络（相声）: 热度 4 zhuyucai1 2020-6-30 13:10; 小神经：大数据呀！神经网络！深度学习！老前浪：干什么呢，神经嘻嘻的？小神经：大数据呀！神经网络！深度学习！老前浪：喂，小神经，醒醒。小神经：是你啊，老前浪。刚从沙滩上遛弯回来？老前浪：嗯呀。最近做什么呢？小神经：您还不知道吧，我们在干神经网络。老前浪：哦？小神经：现在神经网络可流行了，席卷全球！老前浪：流行你就跟着干？小神经：那当然了。流行的就是好东西，最流行的就是最好的东西。老前浪：新冠病毒最流行，你也来点？小神经：不要，不要。老前浪：神经网络怎么就那么好？小神经：这个，说来话长。老前浪：慢慢讲，小神经。小神经：牛顿发现了万有引力定律，伟大吧？老前浪：对。小神经：为了搞清牛顿是怎么想出万有引力定律的，我们把牛顿的天灵盖打开。。。老前浪：盗墓啊！小神经：谁盗墓了？打开天灵盖，往里一看，哇！牛顿的大脑是一个神经元网络啊。老前浪：搞清牛顿是怎么想出万有引力定律的？小神经：嗯没有。。。爱因斯坦发现了相对论，辉煌吧？老前浪：嗯。小神经：为了搞清爱因斯坦是怎么发现的相对论，我们把爱因斯坦的天灵盖打开。。。老前浪：又盗墓啊！小神经：没盗墓，老爱自己捐献的。打开往里一看，哇！爱因斯坦的大脑也是一个神经元网络。老前浪：搞清楚爱因斯坦是怎么发现相对论了？小神经：嗯没有。。。维纳提出了控制论，卓越吧？老前浪：是的。小神经：为了搞清维纳是怎么发现控制论的，我们把维纳的天灵盖打开。。。老前浪：打开往里一看，哇！维纳的大脑又是一个神经元网络。小神经：您怎么知道的？老前浪：跟你学的呗。小神经：我们就想，既然这些伟大科学家的脑子都是神经元网络，我们干脆把所有的对象当作一个神经元网络来研究，简称神经网络。老前浪：神经网络。。。听起来跟神经病网络差不多。小神经：这怎么讲？老前浪：你把一头蠢驴的天灵盖打开，往里一看，还是一个神经元网络。小神经：这个。。。不跟您计较。现在，不管研究什么系统，我们就收集大数据，建立神经网络，进行深度学习。老前浪：“大数据呀！神经网络！深度学习！” 小神经：对对，就是这样。老前浪：能解决问题吗？小神经：能，无所不能。老前浪：举个成功的例子。小神经：不止一个呢。比如图像识别呀，语音识别呀。老前浪：这个我知道，不就是瞎猫抓了两只死老鼠吗。小神经：后来还抓了个阿尔法狗。老前浪：三只死老鼠。小神经：从此以后大风起了，猪都飞了，瞎猫变成大眼睛猫。。。老前浪：还双眼皮呢。小神经：对，大明星呀。老前浪：抓完死老鼠，瞎猫还是瞎猫。小神经：老前浪，您真是顽固不化。老前浪：所以只能天天在沙滩上遛弯儿了。小神经：神经网络可厉害了，现在我们有神经医生、神经律师、神经会计师。。。老前浪：够神经的。小神经：老前浪您是做什么的？老前浪：流程工业自动化。小神经：流程工业也能神经呀。老前浪：是吗？讲讲怎么神经的。小神经：工业锅炉，流程工业吧？老前浪：对。小神经：我们对着锅炉，“大数据呀！神经网络！深度学习！”。。。啪！老前浪：怎么啦？小神经：节煤 3% 。老前浪：够多的！小神经：你们自动化能节煤 3% 吗？老前浪：不能。小神经：服不服吧！老前浪：你们投自动闭环了吗，厂里在用吗？带我去看看。小神经：网上可以看。老前浪：网上的不可靠。小神经：化学反应器，流程工业吧？老前浪：是。小神经：我们对着反应器， “大数据呀！神经网络！深度学习！” 。。。啪！老前浪：怎么啦？小神经：提高合格率 4% 。老前浪：够高的！小神经：服不服吧！老前浪：你们投自动闭环了吗，厂里在用吗？带我去看看。小神经：网上可以看。老前浪：不回答问题。小神经：垃圾焚烧炉，流程工业吧？老前浪：我替你说。我们对着焚烧炉， “大数据呀！神经网络！深度学习！” 。。。啪！小神经：怎么啦？老前浪：提高产量 5% 。小神经：够高的！老前浪：服不服吧！小神经：你们投自动闭环了吗，厂里在用吗？带我去看看。老前浪：网上可以看。小神经：不回答问题。。。哎，我怎么掉你坑里了。; 4171 次阅读|8 个评论

突然发现我是IEEE预印版paper总点击top1: 热度 1 Time 2020-6-23 01:14; 莫名兴奋！ https://www.techrxiv.org/articles/It_may_be_time_to_perfect_the_neuron_of_artificial_neural_network/12477266; 2738 次阅读|1 个评论

向深度学习三剑客学习四种科研精神（下）: 热度 4 dwchen 2020-6-16 08:57; 向深度学习三剑客学习四种科研精神（下）陈德旺众所周知，深度学习算法是人工智能（AI）第三次复兴的关键所在，不仅体现在快速增长的研究项目和发表论文。如果仅仅是研究项目和发表论文，深度学习很可能是昙花一现，难以持久。更重要地是体现在人工智能产业的兴起，各种AI实际应用如雨后春笋，在全球大规模展开。国内外著名IT大公司，几乎都转型为AI公司，有的公司甚至喊出了“All in AI（全部都在人工智能）”的口号。 AI广泛深度应用有效提高了产品的效能，服务的质量和公司的盈利。现在AI渗透到各行各业，深度学习三剑客不仅仅是享誉世界的计算机科学家，更是AI产业复兴的开拓者和先行者。他们没有陷入“搞项目为了发论文，发论文为了搞项目“的自我陶醉和循环中，好像学习了毛泽东主席的“将革命进行到底”的文章，誓将深度学习进行到底。为了证明他们研究的深度学习算法确实有用，他们不止步于论文，虽经常面对非议，仍毅然砥砺前行。他们不仅亲自编码并开源，还开发深度学习算法包，身体力行帮助产业界发展，最终推动了智能产业的巨大飞跃。这与我国的袁隆平先生研究杂交水稻，一直坚持到底，直到杂交水稻大规模播种，还继续在田间地头进行研究实践的精神如出一辙。 4. 重视产业应用的科研落地精神 Hinton 和他的 2 名研究生在 2012 年成立了 DNN Research （深度神经网络研究）公司。该公司成立的主要目的就是要推广他们在 ImageNet 大赛中所采用的深度卷积神经网络技术。 2013 年，该公司就被市场嗅觉敏锐的谷歌公司高价收购了。之后， Hinton 领导谷歌的 AI 团队，将“深度学习”从边缘课题变成了谷歌等互联网巨头依赖的看家本领。再之后，谷歌就有了家喻户晓的 AlphaGo 等新技术，不得不让人浮想联翩。因此，学者只要能放下身段，深入实际，是有可能搞出核心技术，并推动产业发展和社会进步的。我国最近密集出台多项政策对“唯论文说不”，相信将对我国科技的未来和核心技术的掌握影响深远。作为 Hinton 志同道合的合作者和坚定不移的追随者， LeCun 也具有将深度学习进行到底的精神和毅力。他花费大量时间和精力，亲自制作了包括 7 万张图片的 MNIST 手写体识别数据集并编写了 CNN （卷积神经网络）代码，极大提高了手写体识别的精度和效率。该数据集也是机器（深度）学习算法的试金石和垫脚石。 2013 年底，他被任命为 Facebook 人工智能实验室主任和首席科学家，他在纽约大学的职位也从终身教授变更为兼职教授。最近几年，Facebook的快速发展充分证明了LeCun的突出贡献。 2016 年之前， Bengio 虽担任了几家大公司的学术顾问，但他更多的精力还是耕耘在学术界。看到其他2位剑客在产业界做的风生水起，他在2016年也终于下海试水了，而且步伐更大。Bengio和几位朋友一起创立了创业公司 Element AI 。该公司的使命是赋能 AI 优先的商业，支持 Bengio 实验室和其他顶尖大学的研究人员每月为企业工作数小时，同时保留学术职位，以更好地实现理论研究和产业应用的相互促进。总之，荣获图灵奖的深度学习三剑客身体力行了“将科研进行到底“的精神，完成了从理论研究到核心技术再到产业化的完美历程，并启示我们：好的研究成果是有用的，好的研究是可以形成核心技术并实现产业化的，科学家是可以改变世界的，只要我们能坚定不移，坚持不懈并砥砺前行。作者简介：陈德旺，IEEE高级会员， IEEE Trans.on ITS 编委，中国自动化学会混合智能专委会副主任，中国运筹学会智能计算分会副理事长，美国加州大学伯克利分校访问学者，福州大学数学与计算机科学学院教授、博士生导师，主要研究方向为人工智能、大数据和智能交通等。至今发表论文120余篇，其中SCI检索论文40余篇，IEEE Transaction论文13篇，他引3000余次；获得各类科研奖励10多项。参考文献： 1）陈德旺，向深度学习三剑客学习四种科研精神（上） http://blog.sciencenet.cn/home.php?mod=spaceuid=57940do=blogid=1237134 2) 陈德旺，向深度学习三剑客学习四种科研精神（中） http://blog.sciencenet.cn/blog-57940-1237499.html; 个人分类: 深度学习|9699 次阅读|21 个评论

向深度学习三剑客学习四种科研精神（中）: 热度 4 dwchen 2020-6-12 07:07; 向深度学习三剑客学习四种科研精神（中）陈德旺深度学习三剑客Hinton, LeCun和Bengio，经过长时间的反复讨论，相互辩论和编码实现，终于合力搞定了深度神经网络学习算法这个怪兽。他们的贡献，主要体现为以下三个方面的新思路：1）利用新的激活函数ReLu等解决了梯度消失或发散问题；2）利用卷积运算和参数共享解决了高维图像的特征提取和降维问题；3）利用逐层训练和Dropout等技术解决了网络参数太多，训练时间长，容易过拟合等问题。如同神勇无敌的唐朝大将军薛仁贵“三箭定天上“，深度学习三剑客三箭齐发，终于合力搞定了深度学习算法，实现了对深度神经网络的多层庞大参数的学习和调整。 3. 注重编码实现和开源的实干开放精神深度学习与其说是一种理论，不如说是一种高超的编程技术。深度学习的实现需要大数据，GPU（图形处理器）和深度学习算法同时发力，对深度神经网络的几百万，几千万的参数进行学习，不断降低误差，达到非常高的精度，在图像识别，语音识别和下围棋等领域都超过了人类专家。 LeCun亲手制作了被Hinton称为“机器学习界的果蝇”的经典数据集MNIST，并亲自编程实现了LeNet5网络，点燃了深度神经网络再度复兴的希望。Hinton年纪虽然有些大了，但有亲自实现BP算法的丰富编程经验。“老骥伏枥，志在千里“，在Hinton的循循善诱下，他的研究生Alex 编写出了著名的AlexNet网络，一举取得ImageNet大赛的冠军，并遥遥领先于第二名，标志着深度神经网络的第三次再度兴起。 Bengio也是编程实现的高手，率先带领了团队开发了深度学习算法库Theano，使得我们使用深度学习算法变得非常方便，极大地推动了深度神经网络的推广和普及。三剑客既各有所长，又相互补充，你中有我，我中有你，才形成了深度学习完整的理论体系和算法实现，因此分享图灵奖是非常合理的。历史上，图灵奖一般来说，1年只发给1人，很少发给2人，据我所知，这是第1次发给3人。他们这种“亲力亲为，止于至善”的工匠精神非常值得我们科研人员学习。我国传统文化的坐而论道思维其实对今天科技的发展有一定阻碍作用。尤其值得称道的是，这三位大专家不仅是埋头苦干的编程实干家，更是胸怀宽广的计算机科学家。在他们的个人网页，可以找到各种学习资源，从论文到PPT，从数据集到代码，均可下载，毫无保留。这种公开开放的精神，给深度学习的推广以非常大的助力。这就像一个武林高手公开了自己的武功秘籍和练功方法，不怕别人超越，也欢迎别人超越，比金庸笔下阴险毒辣，独占秘笈的东方不败和隐居山林，后继乏人的独孤求败境界要高很多。作者简介：陈德旺，IEEE高级会员， IEEE Trans.on ITS 编委，中国自动化学会混合智能专委会副主任，中国运筹学会智能计算分会副理事长，美国加州大学伯克利分校访问学者，福州大学数学与计算机科学学院教授、博士生导师，主要研究方向为人工智能、大数据和智能交通等。至今发表论文120余篇，其中SCI检索论文40余篇，IEEE Transaction论文13篇，他引3000余次；获得各类科研奖励10多项。参考文献： 1）陈德旺，向深度学习三剑客学习四种科研精神（上） http://blog.sciencenet.cn/home.php?mod=spaceuid=57940do=blogid=1237134; 个人分类: 科技创新|8882 次阅读|24 个评论

1 2 3 4 5 67

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 深度学习

相关日志

关闭安全验证