神经网络文本分类篇(1)

针对BP网络识别本色布疵点类型时存在收敛速度慢，误检率高的缺陷，提出利用概率神经网络识别本色布疵点类型的思路，对此进行分析和研究。提取疵点的特征值，将其分为亮经向类、暗经向类、亮纬向类、暗纬向类、亮区域类、暗区域类等6大类疵点；将提取的特征值归一化，用神经网络对其训练，实现本色布疵点的分类。实验结果表明，该思路是可行的，对于本色布疵点的识别，概率神经网络相较BP神经网络，收敛速度快，误检率低。

关键词：

本色布疵点；特征提取；疵点类型识别；BP神经网络；概率神经网络

根据“中华人民共和国国家标准GB／T17759－2009本色布布面疵点检测方法”，生产中本色布出现的疵点共有71种。若要机器视觉一次性将疵点从71种中识别出来，计算量将非常大，目前还难以在线实现。为此，采用分步识别法，先判断待检疵点属于哪一类以缩小机器视觉的识别范围，然后，在这一类疵点中，进一步识别判断。因此，本色布疵点分类是基于机器视觉检测本色布疵点的关键之一。鉴于神经网络技术具有强大的非线性映射能力、并行处理能力和学习能力，结合图像处理技术对织物疵点进行自动检测与识别。本文将基于图像处理技术采用神经网络实现对本色布疵点的分类，这不但节省了劳动力，降低了成本，且大大提高了检测的效率和精度。

1基于特征值的织物疵点分类

本文从可区别性、独立性、有效性和可获取性出发，依据本色布疵点的形状特征和灰度信息提取特征值。所提取的特征值的具体表征为：（1）疵点的面积。二值图像中疵点的面积就是疵点区域像素f（i，j）为1的点的个数，用于判断图像中有无疵点的依据。疵点面积的表达式为式。（2）疵点区域的长短轴比。用外接矩形的长和宽来刻画物体边界的基本形状是最简单的方法，但是，这个方法对于形状规则的疵点能够很好得获得其在水平和垂直两个方向上的跨度，对于形状不规则，方向不明显的疵点，就不能够得到有效的信息。（3）角度值，即疵点区域主轴和水平方向的夹角Q，用来表明疵点的方向。（4）灰度均值P，即为疵点区域内所有像素的平均值。其公式如下所示它代替了疵点区域某一点的灰度值来判定疵点的亮暗，因为当织物出现疵点时，疵点区域的某一点灰度值并没有明显变化，而整个区域会发生较大变化，这样可以有效地避免误判。以上提取的特征值反映了本色布疵点的形状、方向、位置和亮暗信息。其中，根据面积S，可判断有无疵点。S＞0，则有疵点，反之，则无疵点。根据疵点区域的长短轴之比可区分区域类疵点和经、纬向疵点。根据疵点区域中主轴长度和水平方向的夹角可判断是经向疵点还是纬向疵点。根据灰度值P可区分疵点的亮、暗。综上所述，根据本文所提取的特征值，可判断有无疵点，并且将可能出现的71种疵点分为亮经向、暗经向、亮纬向、暗纬向、亮区域、暗区域等6大类疵点，此外，本文将标准无疵点也作为疵点的一种［1］。

2基于神经网络的织物疵点分类识别的实现

2．1特征值的归一化处理及其对疵点类型的表征提取的特征值往往不是同一个数量级［2］。这将降低神经网络的训练速度，以及影响神经网络的收敛。为此，在训练神经网络之前，需对特征值进行归一化处理。具体如下：表1中，本文提取的4个特征值对于无疵点以及6种疵点类型分别给出了归一化后的取值。这将作为神经网络训练时的输入矢量。

2．2基于BP神经网络的实现BP（backpropagation）神经网络一般分为输入层，隐含层，输出层，可由多层组成，同层之间的神经元没有连接，层与层之间全部相连接。BP神经网络的结构如图2所示。由于本文提取了4个特征值，所以输入层为4个神经元。归一化的特征向量从输入层传递到隐含层。BP网络中的隐含层一般采用Sigmoid函数作为传递函数［3］（如图3所示）。在BP网络中，隐含层的神经元节点数越多，会使得网络性能越好，疵点类别识别越准确，但可能会导致网络训练的时间较长，识别的效率不高。目前，没有一个理想的解析式能够给出合理的隐含层节点的个数，常常通过前人的经验结合自己多次网络的训练实验和调试得到。这也是BP网络的缺陷之一。本文采用不同隐节点数的网络进行训练［4］，选择满足误差条件对应的最佳隐含层神经元个数为11个。本文疵点类别数为7类，文中采用四位二进制即可覆盖整个输出空间，见表2，所以，输出层的节点数为4。最后，网络通过计算输出层节点的期望输出与计算输出（实际输出）的误差小于一定的阈值（本文取0．01），且误差不再下降时，即完成网络的训练。根据上述中得到的输入量，输出量以及误差条件，对BP网络进行多次训练。训练效果和训练时间如图4和表3所示。训练过程中，如果误差没有达到所给定的精度以内，将沿原路返回，逐层反向传播。本文采用标准的BP网络对疵点类别进行识别，标准BP网络使用最速下降法来调制网络各层权值大小来使误差减小，不断重复这样的过程，反复迭代，直到满足误差条件并不再下降。在此过程中，网络容易陷入局部最小值［5］，而没有达到全局最小值，这样会导致BP网络在疵点类别识别中出现误识别的情况，所以BP网络在疵点识别方面存在一定的局限性。

2．3基于PNN神经网络的实现概率神经网络（probabilisticneuralnetworks，PNN）是径向基神经网络（RBF）的一种，以RBF为基础［6，7］，融入了密度函数估计和贝叶斯理论［8］。PNN网络一般由输入层、隐含层、求和层、输出层4层组成。如图5所示。PNN网络用高斯核的Parzen窗函数作为疵点类别的概率密度函数［9］，对于每一种疵点类别的特征值，PNN网络在隐含层中生成一个神经元。为准确地估计出概率密度函数，PNN网络形成大量的神经元，这将导致占用大量的存储空间和计算时间。所以，一方面由于本文训练数据有限，另一方面由于PNN网络隐含层中神经元较多且计算量较大，为简化网络训练过程，文中采用共享参数技术［10］。将上述提取的特征值归一化后输入到PNN网络，采用的输入向量是4个特征值，则PNN模型输入层神经元个数为4。将输入量从输入层传递到隐含层。隐含层中采用的激活函数为高斯核函数，因而该层每个神经元都有一个中心，当神经元的输入值离这个中心越近，神经元的激活程度就越高，则输入疵点的特征向量属于该神经元中心对应疵点类别的可能性就越大，进而达到疵点类别识别的效果，所有的疵点类别都共用一个相同的高斯核函数。根据上述训练算法和提取的特征向量，PNN神经网络即可开始训练。多次训练后发现PNN网络能够成功地将疵点分为7大类。PNN网络的训练时间见表4。由于PNN网络的隐含层采用了非线性函数高斯核函数，考虑了不同疵点类别的交错影响，具有很强的容错性。由于本文提取的特征值是71种织物疵点所共有的，具有一定的代表性，即使疵点种类增加，PNN分类器也能快速收敛到贝叶斯最优，且不会出现BP网络只能寻求局部最优问题。此外，结合表3和表4数据可以看出，相比较于BP网络，PNN网络的训练就快多了，因为BP网络需要对输入量进行反复迭代计算，而PNN网络只需将特征向量直接输入网络后进过一次训练即可；同时，本文PNN网络简化了隐含层的计算过程，大大节省了训练时间。

3实验验证及结果分析

粗经、重纬、吊经、缺经、杂物、油污等6幅本色布疵点图像和一幅无疵点本色布图像如图6所示。这些图像将作为本文的实验对象。该实验将基于MATLAB平台分别利用前文所建的BP网络和PNN网络这些实验对象进行判断和识别。首先判断实验对象是否有疵点。若有疵点，则进一步判断其应该属于亮经向、暗经向、亮纬向、暗纬向、亮区域、暗区域等6大疵点类型中的哪一类。其中，参与实验的6种本色布疵点所属疵点类别的判断标准见表5。本实验的目的是验证所建的这两种神经网络的准确率。用于实验的6幅本色布疵点图像和一幅无疵点本色布图像经过预处理，图像分割，及分割后处理，得到二值图像，如图7所示。将上述二值图像提取的特征值归一化后，作为BP网络和PNN网络的输入量，分别利用这两种网络对疵点进行类型识别，其识别效果见表6。从表6中的实验数据可以看出，BP网路和PNN网络的识别准确率都达到了80％以上，可见这两种网络都能够较好地识别疵点类型。但是针对同一种疵点的多次识别中，对比疵点所属疵点类别的判断标准，BP网络有时会出现误识别的情况，导致识别准确率下降，主要是因为BP网络容易陷入局部最小值，进而显现出BP网络在疵点类别识别过程中的不稳定性。而PNN网络对于本色布疵点类别的识别准确率达到了100％，并且稳定性较高，在实验中没有出现误识别的情况。

4结束语

本文利用神经网络对本色布疵点类型进行有效识别，并针对BP网络收敛速度慢，容易陷入局部最优而导致误检的情况，提出利用概率神经网络（PNN）来识别本色布疵点类型。以疵点图像（重纬、油污等）为实验对象对PNN网络较之BP网络所具备的优越性进行了实验验证，实验结果表明，PNN网络不仅收敛速度较快，而且识别精度更高，稳定性更好，因此PNN网络更加适用于织物疵点类别的识别。

参考文献：

［1］GUOPanfeng．Researchofgreigedefectsclassificationandrecognitiontechnology［D］．Nanjing：HohaiUniversity，2011（inChinese）．［郭攀峰．本色布疵点分类识别技术的研究［D］．南京：河海大学，2011．］

［2］ZHOUShuai．Researchbasedonimageprocessingtechnologyoffabricdefectdetectionandidentification［D］．Qingdao：QingdaoUniversity，2013（inChinese）．［周帅．基于图像处理技术的织物疵点检测与识别技术研究［D］．青岛：青岛大学，2013．］

［3］CHENMing．MATLABneuralnetworkprincipleandessenceofinstance［M］．Beijing：TsinghuaUniversityPress，2013：205（inChinese）．［陈明．MATLAB神经网络原理与实例精解［M］．北京：清华大学出版社，2013：205．］

［4］SHANJialing．Licenseplaterecognitionsystembasedonwire－lessnetworkrecognitionalgorithm［J］．ComputerMeasure－ment＆Control，2011，19（1）：124－127（inChinese）．［单家凌．基于无线网络车牌识别系统识别算法的研究［J］．计算机测量与控制，2011，19（1）：124－127．］

［5］DUMei，ZHAOHuaici．Researchonhandwrittendigitcharac－terrecognition［J］．ComputerEngineeringandDesign，2010，31（15）：3464－3467（inChinese）．［杜梅，赵怀慈．手写数字识别的研究［J］．计算机工程与设计，2010，31（15）：3464－3467．］

［6］HAOXiaoli，ZHANGJing．DesignandrealizationofRBFneuralnetworkclassifierbasedonadvancedself－adaptivecluste－ringalgorithm［J］．ComputerScience，2014，41（6）：260－263（inChinese）．［郝晓丽，张靖．基于改进自适应聚类算法的RBF神经网络分类器设计与实现［J］．计算机科学，2014，41（6）：260－263．］

［7］LIPengfei，YANGNing，JINGJunfeng．Fabricdefectclassi－ficationbasedonradialbasisfunctionneuralnetwork［J］．ComputerMeasurement＆Control，2012，20（10）：2751－2759（inChinese）．［飞，杨宁，景军锋．基于径向基函数神经网络的织物疵点分类［J］．计算机测量与控制，2012，20（10）：2751－2759．］

［8］CHAIBaoming，WUZhinan，ZHAOZhiqiang，etal．Rollingbearingfaultdiagnosisbasedonwaveletpacketandprobabilisticneuralnetwork［J］．CoalMineMachinery，2014，35（12）：273－275（inChinese）．［柴保明，吴治南，赵志强，等．基于小波包与概率神经网络相结合的滚动轴承故障诊断［J］．煤矿机械，2014，35（12）：273－275．］

［9］LIChunfang，LIULianzhong，LUZhen．Probabilisticneuralnetworkbasedondatafield［J］．ActaElectronicaSinic，2011，39（8）：1739－1745（inChinese）．［李春芳，刘连忠，陆震．基于数据场的概率神经网络算法［J］．电子学报，2011，39（8）：1739－1745．］

［10］WuJ，ChanC．Isolatedwordrecognitionbyneuralnetworkmodelswithcrosscorrelationcoefficientforspeechrecognition［J］．IEEETransonPatternAnalysisandMachineIntelli－gence，1993，15（11）：1174－1185．

神经网络文本分类篇(2)

【关键词】量子力学；神经网络；电力电子电路；故障诊断

双桥12相脉波整流电路现阶段，大多数电力电子电路故障诊断都利用人工神经网络来实现，这种故障诊断方法具有许多的优势，近年来应用越发的深入，但随之而来也凸显了许多不足之处，比如数据量较大时，处理速度比较慢，记忆容量比较有限，接收新的信息时候可能会发生突变性失忆等等，因此，行业内相关学者在经济的探索新的神经网络理论及结构。量子神经网络是20世纪末期出现的一种新的神经网络，相比于传统的神经网络，数据处理能力明显增强，稳定性及可靠性也很高，将其应用于电力电子电路故障诊断之中优势明显，下文主要就量子神经网络进行简单的介绍，重点分析基于量子神经网络电力电子电路故障诊断的方法。

1量子神经网络概述

量子神经网络是经典神经网络与量子计算结合起来的产物，一般来说，主要有两种结合形式。（1）将量子计算理论引入到神经网络结构及训练的过程中。（2）设计神经网络的训练算法及拓扑结构设计过程中借用量子理论中的一些原理及概念。本文主要介绍一种在四层前向BP网络基础上与量子计算理论结合形成的四层量子BP神经网络。该神经网络中，采用许多个传统的激励函数叠加形成了隐层量子神经元激励函数，该激励函数可以将决策的不确定性数据进行合理的分配，不确定性数据分配到不同的故障模式之后故障诊断的不确定度自然会有所降低，也就是说准确率有所升高。使用这种故障诊断方法能够将抽样数据中存在的模糊性自动诊断出来，如果特征矢量处于交叉类边界之中，神经网络能够将该特征矢量分配到所有相关的类中，如果分类时特征矢量不存在模糊性，同样分到对应的类中。这种故障诊断方法之下，特征矢量与故障类之间的对应关系能够精确的反映出来，诊断效率明显提高。量子神经网络主要分为输入层、输出层、第一隐层、第二隐层四层结构，输入层设为X=(X1，X1，……XN)，输出层设为Y=(Y1，Y1，……YN)，Sigmoid函数为层间的传递函数，三层的权值分别为w1k,b，w2m,k，w3s,m，神经元个数分别为K、M、S，量子间隔大小与待诊断故障元件的数目相同。基于量子神经网络的学习算法之中神经元之间的权值更新与常规的BP算法中的一致，权值变化及误差反向传播都采用的是梯度下降法，实际的应用过程中为了防止陷入局部极小值，往往需要将自适应学习速率法及附加动量引入其中，确保网络能够滑过局部极小值迅速收敛。

2基于量子神经网络的电力电子电路故障诊断方法

本文主要以双桥12相脉波整流电路为研究对象，验证基于量子神经网络的故障诊断方法的效果。图1所示为双桥12相脉波整流电路图。实际的故障诊断过程中首先使用电路仿真软件模拟该电路可能会出现的各种故障，得到对应的故障信号，将这些信号作为输入样本数据，对应的故障类型则作为网络输出数据，使用量子神经网络将故障信号及故障类型之间的映射关系分析、存储起来，最后测试训练后的神经网络并观察试验的结果。2.1量子神经网络的输入样本设计在双桥12相脉波整流电路中，设置其控制触发角为0°，实验时只考虑电路中晶闸管开路的现象，然后使用ORCAD软件模拟该电路的各种故障。当电路中发生某一种故障之后，选择一个周期的电路的负载电压作为样本，取样的时间为0.1ms，一个周期的时长为20ms，因此，每组有200个样本数据，将这些数据归一化处理之后可以得到量子神经网络的输入样本。双桥12相脉波整流电路晶闸管开路故障主要是电路中一个或者两个桥臂不导通，极少会出现三个或是四个桥臂同时不导通的现象。设该电路中有两个晶闸管同时出现故障，左右两部分电路没有同时故障，则该电路可能会存在包括无故障在内的7大类31小类故障。比如，接到同一项电压的V1V3或V7V9或V5V11同时发生故障，两只交叉的晶闸管V1V11或V1V7或V5V3或V5V7或V9V3或V9V11同时发生故障、同一半桥的两种晶闸管V2V6或V2V10或V6V10或V8V12或V8V4或V12V4同时发生故障等等，将所有的31小类故障分析出来之后编号，每个故障对应一个Y1Y2Y3Y4Y5Y6的六位编码，其中Y1Y2Y3表示大类，Y4Y5Y6表示小类，比如001001表示第一大类第一小类，与每组特征信号对应的故障编码为网络目标输出样本。2.2实验结果本次实验中共有200个输入节点，6个输出节点，反复实验之后，第一隐层取80层，第二隐层取100层，各层的激活函数为σ(t)=1/(1+e-t)，初始权值随机给出。网络训练的误差结果如图2所示，图中横轴为训练步数，纵轴为量子神经网络训练误差，量子神经网络与经典BP神经网络的网络结构及训练参数一致，二者的训练步数不同，其中量子神经网络10125步，而经典BP神经网络为26745步。将标准样本以外的3100组数据加入到随机噪声之中作为网络测试样本，测试基于量子数神经网络的故障诊断方法的准确性，当实际输出满足一下条件时，认为该输出正确，即，其中为该神经网络的目标输出。网络诊断了检测完成之后还需要测试网络的误诊率，测试结果显示，诊断数为3100，当随机噪声为5%，量子网络诊断准<<上接121页确率为100%，BP网络准确率为99.20%；当随机噪声为10%时，量子网络诊断准确率为99.97%，BP网络准确率为78.50%；当随机噪声为15%时，量子网络准确率为99.84%，BP网络诊断准确率为64.35%；当随机噪声为20%时，量子网络准确率为99.45%，BP网络准确率为48.75%。诊断数为3100，当随机噪声为5%，量子网络的诊断错误率为0%，BP网络为0.50%；当随机噪声为10%时，量子网络诊断错误率为0.54%，BP网络为12.24%；当随机噪声为15%时，量子网络错误率为1.42%，BP网络为20.05%；当随机噪声为20%时，量子网络错误率为3.58%，BP网络为32.74%。由实验数据可以明显看出与经典的BP神经网络相比，量子神经网络的诊断率明显较高，误诊率相对较低，且当电路存在随机噪声时，量子神经网络依然能够比较稳定的检测出电路故障，抗噪能力及网络稳定性均较好。

3结束语

本文就量子神经网络进行了简单的介绍，重点结合双桥12相脉波整流电路就基于量子神经网络的电路故障诊断方法进行了分析探讨，实验表明，基于量子神经网络的电力电子电路故障诊断方法准确度较高，与经典的BP神经网络相比具有误诊率低、抗噪能力强、网络稳定性较好等等优点，可以应用于电子电路的故障诊断。因篇幅所限，本文介绍的内容相对而言比较简单，希望能够为相关研究人员的电力电子电路故障诊断的工作提供参考。

参考文献

[1]王力,王旭,徐哲.电力电子电路故障预测关键技术论述[J].通讯世界,2016(02).

[2]汪蔚,王荣杰，胡清.神经网络电力电子装置故障诊断技术[J].微计算机信息,2012(16).

神经网络文本分类篇(3)

【关键词】图像分类深度 卷积神经网络 加权压缩近邻

1 研究背景

手写数字识别是一个经典的模式识别问题。从0 到9这10 个阿拉伯数字组成。由于其类别数比较小，它在些运算量很大或者比较复杂的算法中比较容易实现。所以，在模式识别中数字识别一直都是热门的实验对象。卷积神经网络 （Convolutional Neural Networks，CNN），在手写体识别中有着良好的性能。卷积神经网络的神经元是局部连接，神经元之间能够共享权值。深度卷积神经网络不但可以解决浅层学习结构无法自动提取图像特征的问题，并且提高了分类的泛化能力和准确度。

2 深度卷积神经网络

深度卷积神经网络是一种具有多层监督的神经网络，隐含层中的卷积层和池采样层是实现深度卷积神经网络提取特征的核心模块，并通过使用梯度下降算法最小化损失函数来进行权重参数逐层反向调节，再经过迭代训练提高分类精确度。

深度卷积神经网络的首层是输入层，之后是若干个卷积层和若干个子采样层和分类器。分类器一般采用Softmax，再由分类器去输出相应的分类结果。正常情况下，一个卷积后面都跟一个子采样层。基于卷积层里权值共享和局部连接的特性，可以简化网络的样本训练参数。运算之后，获得的结果通过激活函数输出得到特征图像，再将输出值作为子采样层的输入数据。为了实现缩放、平移和扭曲保持不变，在子采样层中将之前一层对应的特征图中相邻特征通过池化操作合并成一个特征，减少特征分辨率。这样，输入的数据就可以立即传送到第一个卷积层，反复进行特征学习。将被标记的样本输入到Softmax分类器中。

CNN 能够简化网络的样本训练参数，降低计算难度。这些良好的性能是网络在有监督方式下学会的，网络的结构主要有局部连接和权值共享两个特点：

2.1 局部连接

深度卷积神经网络中，层与层之间的神经元节点是局部连接，不像BP 神经网络中的连接为全连接。深度卷积神经网络利用局部空间的相关性将相邻层的神经元节点连接相邻的上一层神经元节点。

2.2 权重共享

在深度卷积神经网络中，卷积层中每一个卷积滤波器共享相同参数并重复作用，卷积输入的图像，再将卷积的结果变为输入图像的特征图。之后提取出图像的部分特征。

在得到图像的卷积特征之后，需要用最大池采样方法对卷积特征进行降维。用若干个n×n 的不相交区域来划分卷积特征，降维后的卷积特征会被这些区域中最大的或平均特征来表示。降维后的特征更方便进行分类。

3 实验结果

为了验证卷积神经网络的有效性，本实验中使用以最经典的MNIST 和USPS 库这两个识别库作为评测标准。手写数字MNIST数据库有集60000 个训练样本集，和10000 个测试，每个样本向量为28×28=784维表示。手写数字USPS 数据库含有7291 个训练样本和2007 个测试样本，每个样本向量为16×16=256 维。

表1给出了卷积神经网络在MNIST 和USPS 库上的识别结果。从表1中可知，深度卷积神经网络对MNSIT 库识别率能够达到97.89%，与用BP 算法得到的识别率94.26%相比，提高了两个多百分点。对USPS 库识别率能够达到94.34%，与用BP 算法得到的识别率91.28%相比，也提高了三个多百分点。

因此，使用深度卷积神经网络算法训练在图像识别中获得更高识别率。因此，深度卷积神经网络在识别手写体字符时有着较好的分类效果。

4 总结

本文介绍深度卷积神经网络的理论知识、算法技术和算法的结构包括局部连接、权重共享、最大池采样以及分类器Softmax。本文通过深度卷积神经网络对两组手写识别库实验来验证CNN 有着较低的出错率。

参考文献

[1]赵元庆，吴华.多尺度特征和神经网络相融合的手写体数字识别简介[J].计算机科学，2013，40（08）：316-318.

[2]王强.基于CNN的字符识别方法研究[D].天津师范大学，2014.

[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks.Advances in Neural Information Processing Systems，2012，25（02），1097-1105.

[4]郝红卫， 蒋蓉蓉.基于最近邻规则的神经网络训练样本选择方法[J].自动化学报，2007，33（12）：1247-1251.

作者简介

关鑫（1982-），男，黑龙江省佳木斯市人。硕士研究生学历。现为中国电子科技集团公司第五十四研究所工程师。研究方向为计算机软件工程。

神经网络文本分类篇(4)

关键词：汽车尾气；自组织特征映射（SOM）；竞争学习；聚类分析

中图分类号：U467.5+21文献标文献标识码：A文献标DOI：10.3969/j.issn.2095-1469.2013.05.06

持续增长的汽车保有量给城市发展带来各种形式的环境压力，特别是其尾气排放所引起的空气污染问题[1]。大量文献指出汽车尾气会给人类健康造成许多负面影响，并且随着暴露在这些污染物中的人群数量的增加，这些负面影响在城市中日益加剧[2-3]，

于是针对汽车尾气更严格的排放标准[4]得以实施。为满足这一新标准，学术界和工程界的专家学者提出许多方法和技术以降低汽车尾气中有害气体的排放量[5-6]。然而，极少有研究从“大数据”的角度[7]关注汽车尾气的污染评估模型。事实上，职能监管部门更关心的是在真实行驶条件下对汽车尾气排放的大数据进行分析，借此评估汽车尾气对城市环境的影响程度，进而为新标准的有效执行提供决策依据。

由于燃料在发动机中的物理化学反应极其复杂，加之车辆驾驶方式因人而异，以及车辆行驶环境的多样性，导致汽车排放的尾气具有复杂的非线性、时变性和随机性等特征，从而使基于发动机中物化反应原理的汽车尾气排放模型无法满足对排放水平高可靠分析的需要。作为一种非线性数据分析工具，神经网络广泛应用于数据分析的各个领域[8]。事实上，通过分析汽车尾气数据以实现对排放水平的评估，本质上可看成是一个数据聚类问题。众所周知，自组织映射神经网络（Self-Organizing Map Network，SOM NN）在数据的聚类、分类问题中得到广泛关注，并取得良好的应用效果[9-10]。然而，SOM网络所采用的固定邻域半径的学习方式容易造成训练“死区”，使某些神经元无法得到合适的训练，进而影响数据聚类、分类的准确性[11-12]。

针对上述问题，本文提出一种在自组织特征映射下的汽车尾气排放水平评估方法。该方法将汽车尾气按不同的城区行驶速度划分为不同的排放种类，每种行驶速度对应着一种排放水平，通过SOM神经网络的拓扑有序映射将高维的排放数据映射到一个二维的特征空间，以描述汽车在真实条件下不同速度的排放水平。为提高数据聚类的准确性，在SOM神经网络采用的固定邻域半径的基础上，通过引入权值与输入向量之间的夹角来定义一种新的弹性邻域半径。该弹性邻域半径可自适应地缩放竞争层神经元的学习区域，避免这些神经元因权值在初始化过程中离输入向量太远而进入训练死区。

1 具有弹性邻域半径的SOM神经网络

由于SOM神经网络中邻域半径的更新过程采用固定的缩放方式，使网络训练容易形成训练死区，为了提高对汽车排放数据聚类的准确性，本文提出一种具有弹性邻域半径的SOM神经网络。该网络的拓扑结构与Kohonen提出的SOM网络相同，只是在竞争学习过程中采用弹性邻域半径来缩放学习区域。

1.1 SOM神经网络的拓扑结构

荷兰学者Kohonen提出的自组织特征映射，本质上属于一种无监督竞争学习的动态映射方式[13-15]。由此产生的SOM神经网络中，一次仅有一个神经元被“激活”。图1给出了这种网络常用的拓扑结构（从一维的输入到二维的映射输出），其基本思想是：来源于原始事件空间中的输入信号被由自适应单元所构成的简单网络接受，输入信号以某种表示方式被自动映射为一系列输出响应，这种输出响应保持了与原始事件相同的拓扑排序的方式。因此，SOM神经网络能自动形成对事件属性的正确拓扑映射。换言之，SOM神经网络能以拓扑有序的方式，将任意维数的输入模式变换成一维或二维的特征映射[16-17]。

值得指出的是，在图1所示的结构中，即使输出神经元之间没有侧向连接，但与输入具有最佳匹配的神经元（即获胜神经元）邻域内的其它神经元被更新，使这个邻域内的神经元与其以前所处的状态相比，更像获胜神经元那样响应。网络中的神经元并不是以相互独立的方式，而是以拓扑相关的方式进行学习。这种学习方式对于形成有序映射来说是至关重要的。

1.2 改进的竞争学习算法

SOM神经网络的竞争学习算法可通过下述推导加以描述。图1中的SOM神经网络的输入可写成向量形式。

。

二维阵列中的神经元i的突触权值向量由下式给出。

。

式中，m是二维阵列中的输出神经元总数。在Kohonen的竞争学习算法中，输入向量x与突触权值向量wi的最佳匹配由下式确定。

。

这里的q（x）表示输出神经元阵列的索引，特别指定为获胜神经元，是欧几里德范数，也是获胜神经元所在的邻域半径。然而，这种固定邻域半径容易形成训练死区，使某些神经元因初始权值向量离输入向量太远以至于它从未在竞争中获胜，即从未参与竞争学习而形成毫无用处的死神经元。为此，本文提出一种弹性邻域半径ri（k），并将其定义为

。

式中，表示Kohonen的竞争学习中的固定半径，而是输

入向量与竞争层神经元权值之间的相似系数。当输入向量与权值相似较大时，会放大邻域半径，扩大竞争学习区域；当相似较小时，会缩小邻域半径，使竞争层神经元尽快进入学习区域。

那么，输入向量x与突触权值向量wi的最佳匹配可以定义为

。

式中，。竞争学习算法的下一步是更新与获胜神经元相联系的突触权值向量和获胜神经元的确定邻域内的神经元的突触权值向量。相应的学习规则可表示为

式中，学习率参数0

2 数值试验

为验证本文所提方法的有效性，本节选取一种轻型车在真实行驶条件下的不同批次排放测试数据为对象开展数值试验。通过SOM神经网络的拓扑有序映射，将排放数据按照不同速度的行驶模式聚类，每种行驶模式所得到的数据种类便代表了一种排放水平。

2.1 数据介绍

数值试验所使用的排放数据来源于一种轻型车按国家标准GB 18352.3―2005进行的测试。根据该标准，从同种类型的轻型车抽样出若干样本，驾驶这些抽样的轻型车分别在城市和郊区环境中按照指定速度行驶，最终获取该类汽车在相同行驶条件下不同车次的排放数据。图2给出了汽车尾气排放数据采集过程。其中，城区环境分为4个循环单元，每个单元的速度设置相同，并都采集195个数据样本；而郊区环境仅采集400个数据样本，整个数据长度为1 180个样本点。在同一辆车的1 180个数据样本中，所测试的排放气体包括以下几种类型：COL（g/100 km）、NOx（g/100 km）、THC（g/100 km）和CO2（g/100 km）。

需要指出的是，上述指标的排放数据并未全部在本文中使用。事实上，通过分析数据的组合分布，最终选择的排放指标为THC（g/100 km）和CO2（g/100 km）。此外，由于城区的污染较为严重，因此本文关注车辆在城区环境的排放情况，而车辆在郊区的排放数据不予考虑。图3给出了数值试验中所采用的THC和CO2数据样本。

图3中的所有数据均为同种轻型车的5辆车在相同的真实条件下进行1次测试得到的排放数据。这些数据在归一化之后，将被提交给SOM神经网络以完成网络的训练。

2.2 网络训练

根据图3所示的数据采样过程，这类轻型车的排放情况按照市区运转循环单元中的速度条件可分为12类。因此，SOM神经网络的神经元个数设置为12，每个神经元的输出代表一种排放水平。训练过程可按如下步骤完成。

（1）将输入的排放数据样本归一化到[-1，1]之间，并随机初始化网络的权值，设置学习率参数为1，邻域初值为1。

（2）指定500次的学习次数为停止条件，检查停止条件，如果失败，则继续，如果成功，则退出。

（3）对于每个训练样本，执行（4）～（7）步。

（4）按照式（5）计算与输入向量匹配最好的权值向量。

（5）按照式（6）更新计算权值向量。

（6）调整学习率参数。

（7）适当缩减拓扑邻域Nq（k）。

（8）设置kk+1，然后转到步骤（2）。

需要说明的是，为使本文的方法更具说服力，采用固定邻域半径的SOM神经网络在相同数据集的基础上，除输入向量最佳匹配按式（4）计算外，同样按照上述步骤完成数值试验。基于固定邻域半径和弹性邻域半径的SOM神经网络的训练结果由图4给出。

图4中的数据类别与汽车尾气排放水平一一对应，只要确定排放数据的种类便能确定其相应的排放水平。从图4所示的训练结果来看，采用固定邻域半径的SOM神经网络在排放数据的聚类中明显出现数据类别（排放水平）的混叠现象。例如，图4（b）中具有排放水平4～6的尾气数据聚类中出现不同程度的混叠。其中，数据种类5与数据种类6的混叠较为严重，导致部分具有排放水平5和排放水平6的数据区分出现错误。因此，相比于图4（a）所示的采用弹性邻域半径学习的聚类效果而言，图4（b）中所示的采用固定邻域半径学习的SOM神经网络较差。

为进一步分析两种学习方式的训练结果，带有距离分布的竞争层神经元拓扑结构由图5给出。

图5中的蓝色六角形代表神经元，红线为各神经元之间的连接线，而包含红线的菱形表示各神经元之间距离的远近，从黄色到黑色，随着颜色加深距离越近。图中神经元编号从左下角开始（0，0）为1号神经元，右下角（0，3）为4号神经元，第2行第4列（1，3.5）为5号神经元，依次类推，左上角（0，1.75）为12号神经元。从图5（a）所示的拓扑结构可看出，在采用弹性邻域半径的SOM神经网络中，竞争层的各个神经元彼此隔离，距离较远，各个数据类别能较好地分开。而图5（b）所示的采用固定邻域半径的SOM神经网络中，4～5与5～6号神经元的距离较近，导致排放数据所对应的类别相互纠缠。这也正是图4中混叠现象出现的原因。

2.3 网络测试

完成SOM神经网络的训练后，选取第1辆车和第2辆车在相同条件下的另一次排放测试数据分别提交给采用弹性邻域半径和固定邻域半径的SOM神经网络。图6给出了两种学习方式下的聚类结果。

从图6（a）与图6（b）的对比结果来看，采用固定邻域半径的SOM神经网络聚类效果低于采用弹性邻域半径的SOM神经网络。图6（b）清晰地显示出排放水平5和排放水平6存在着混叠，也就是说原本属于排放水平5的数据被错误地划分到排放水平6中。类似的，具有排放水平4的数据也被错误地划分到排放水平5中。这与网络的训练结果相吻合。值得注意的是，在测试中，排放水平2与排放水平3也出现了混叠，这是由于网络的泛化性能不足造成的。解决该问题的一个有效途径是增加训练回合数，但这会增加时间的消耗。从这一点来说，采用弹性邻域半径的SOM神经网络在与采用固定邻域半径的SOM神经网络保持相同聚类准确度的条件下，前者需要的训练回合数更少。表1给出了在数值试验中，两种学习方式进行排放数据聚类的总体比较情形。

从表1看出，在网络设置相同的前提下，采用弹性邻域半径学习的SOM神经网络在网络训练与测试的过程中，对排放数据的聚类效果都要优于采用固定邻域半径学习的SOM神经网络网络。在网络测试过程中的数据样本总数为3 900个，在网络测试过程中的数据样本为1 560个。其中，采用弹性邻域半径的学习方式下，网络训练过程中聚类正确的样本个数为3 587，测试过程中聚类正确的样本个数为1 410；采用固定邻域半径学习方式下，网络训练过程中聚类的样本个数为3 452，测试过程中聚类正确的样本个数为1 348。因此，在训练过程中，采用弹性邻域半径和固定邻域半径的网络训练过程中的聚类正确率分别为91.97%和88.51%，而测试过程中的聚类正确率分别为90.38%和86.41%。

3 结论

本文提出了一种基于SOM神经网络的汽车尾气排放水平的评估方法，其主要贡献在于通过引入相关系数来设计弹性邻域半径，进而自适应地更新竞争层神经元的学习邻域，避免这些神经元陷入训练死区，以提高对汽车排放数据聚类的准确性。在数值试验中，根据汽车在城区行驶的不同速度将排放数据分为不同的类，每个数据类代表一种排放水平。通过与采用固定邻域半径的SOM神经网络的对比，以某轻型车排放数据为对象的数值试验结果表明，采用弹性邻域半径的SOM神经网络对于汽车尾气排放水平的评估具有较高的准确性。

参考文献（References）

PANDIAN S，GOKHALE S，GHOSHAL A K. Evaluating Effects of Traffic and Vehicle Characteristics on Vehicular Emissions Near Traffic Intersections[J]. Transportation Research Part D，2009（14）：180-196.

POPE C A，DOCKERY D W. Health Effects of Fine Par-ticulate Air Pollution：Lines That Connect[J]. Journal of Air and Waste Management Association，2006（56）：709-742.

MEISTER K，JOHANSSON C，FORSBERG B. Estimated Short-Term Effects of Coarse Particles on Daily Mortality in Stockholm，Sweden[J]. Environmental Health Perspectives，2011（120）：431-436.

GB 18352.3―2005. 轻型汽车污染物排放限值及测量方法[S]. 北京：中国标准出版社，2005.

GB 18352.3―2005. Limits and Measurement Methods for Emissions from Light-Duty Vehicles（Ⅲ，Ⅳ）[S]. Beijing：

China Standard Press，2005. （in Chinese）

ZAMBONI G，CARRARO C，CAPOBIANCO M. On-road Instantaneous Speed Measurements on Powered Two-Wheelers for Exhaust Emissions and Fuel Consumption Evaluation[J]. Energy，2011（36）：1039-1047.

WEILENMANN M F，SOLTIC P，HAUSBERGER S. The Cold Start Emissions of light-Duty-Vehicle Fleets： a Simplified Physics-Based Model for the Estimation of CO2 and Pollutants[J]. Science of the Total Environment， 2013（444）：161-176.

VIKTOR M， KENNETH C.大数据时代：生活、工作与思维的大变革[M]. 盛杨燕，周涛，译.杭州：浙江人民出版社，2012.

VIKTOR M，KENNETH C. A Revolution That Will Transform How We Live，Work，and Think[M]. Sheng Yangyan，Zhou Tao，Translate. Hnagzhou：Zhejiang People's Publishing House，2012.（in Chinese）

HYV?RINEN A，OJA E. Independent Component Analy-sis：Algorithms and Applications[J]. Neural Networks，2000，13 （4-5）：411- 430.

GHASEMINEZHAD M H， KARAMI A. A Novel Self-Organizing Map（SOM） Neural Network for Discrete Groups of Data Clustering[J]. Applied Soft Computing， 2011，11（4）：3771-3778.

HSU K C，LI S T. Clustering Spatial Temporal Precipi-tation Data Using Wavelet Transform and Self-Organizing Map Neural Network[J]. Advances in Water Resources，2010，33（2）：190-200.

MAY R J，MAIER H R，DANDY G C. Data Splitting for Artificial Neural Networks Using SOM-Based Stratified Sampling[J]. Neural Networks，2010，23（2）：283-294.

JIANG X，LIU K，YAN J，et al. Application of Improved SOM Neural Network in Anomaly Detection[J]. Physics Procedia，2012（33）：1093-1099.

KOHONEN T. Self-Organized Formation of Topologically Correct Feature Maps[J]. Biological Cybernetics，1982， 43（1）：59-69.

KOHONEN T. The Self-organized Map[J]. IEEE Procee-dings，1990（78）：1464-1480.

KOHONEN T. Self-organization and Associative Memory

（3rd ed.）[M]. Berlin：Springer Verlag，1989.

华.量子计算在动态递归与自组织神经网络中的机理及应用研究[D].重庆：重庆大学，2012.

Li Penghua.Study on the Mechanism for Dynamic Recur-sive & Self-Organizing Neural Networks Using Quantum Computing and Its Application[D]. Chongqing：Chongqing University，2012. （in Chinese）

神经网络文本分类篇(5)

关键词:BP神经网络; 遗传算法; 神经网络集成; 人耳识别

中图分类号:TP183文献标识码:B

文章编号:1004-373X(2010)08-0148-03

Application of Neural Network Ensemble Based on Genetic Algorithm in Ear Recognition

CHEN Chun-lan1, ZENG Huang-lin2, XU Li-zhi2

(1. Luzhou Vocational and Technical College, Luzhou 646005, China; 2. Sichuan University of Science & Engineering, Zigong 643000, China)

Abstract:Since the constringency of the BP neural network algorithm is too slow and generalization capability of neural network is not ideal, the disadvantageseffect the classification identification. A method of theneural network ensemble based on the genetic algorithm is introduced for improving the classification accuracy and generalization of neural network, the way which trains several individual BP neural networks, selects those who have great variance each other to perform the neural network ensemble by means of the genetic algorithm, and then carries out the classification identification with the neural network ensemble. The experimental result shows that themethod can improve the identification rate.

Keywords:BP neural network; genetic algorithm; neural network ensemble; ear recognition

传统的BP神经网络虽然具有在线学习,非线性映射能力,不需要精确的数学模型,擅长从输入/输出数据中学习有用的知识,容易实现并行计算,由于神经网络由大量的简单计算单元组成,因而具有易于用软、硬件实现等优点。但是该学习算法是一个非线性优化问题,存在局部极小;BP算法使用的是最速下降法,学习算法的收敛速度很慢;最重要的是网络的泛化能力差。当图像数据较大时,影响分类识别能力。1990年,Hansen和Salamon开创性地提出了神经网络集成(Neural Network Ensemble)方法,通过训练多个神经网络,并将其结果进行合并,显著地提高了神经网络系统的泛化能力[1]。在此,采用Bagging方法训练个体神经网络,用遗传算法选择最优的个体网络用于神经网络集成。实验表明,这种方法可以提高人耳的识别率。

1 基于遗传算法的神经网络集成

1.1 神经网络集成

当神经网络集成用于分类器时,通过Bagging算法训练多个个体神经网络,通常集成的输出由个体网络的输出投票产生,采用绝对多数投票法(某分类成为最终结果,当且仅当有超过半数的神经网络输出结果为该分类),提高网络的泛化能力和分类能力[1]。Bagging算法思想实现过程如图1所示。

图1 Bagging算法思想实现过程

Bagging基本思想如下:

(1) 给定一个弱学习算法和一个训练集;

(2) 单个弱学习算法准确率不高;

(3) 将该学习算法使用多次,得出预测函数序列,进行投票;

(4) 最后结果准确率将得到提高。

Bagging算法:

For t = 1, 2, …, T;

从数据集S中取样(放回选样);

训练得到模型Ht;

对未知样本X分类时,每个模型Ht都得出一个分类,得票最高的即为未知样本X的分类[1]。

1.2 遗传算法用于神经网络集成

当神经网络集成中的个体网络差异较大时,集成的效果较好,但是如何获得差异较大的个体网络以及如何评价多个网络之间的差异度,目前仍然没有较好的方法。Bagging算法通过训练数据的随机性及独立性来提供集成的差异性,尽管这种方法非常流行,但是他的鲁棒性较差,而且当数据量不足时,该方法的执行效果也差[1]。

遗传算法作为一种可以全局收敛的方法,理论上可以在一定的遗传步骤后达到全局或者接近全局最优。这里考虑用遗传算法作为Bagging算法中最终集成权值的优化方法。

假设已经独立训练出N个神经网络f1,f2,…,fN,使用简均方法组成神经网络集成,考虑去除神经网络fN后,由f1,f2,…,fN-1使用简均方法组成神经网络集成′,满足:

ИА(x)=∑N-1i=1\(1)

定义神经网络fi与fjУ南喙囟任:

Cij=∫p(x)\\dx(2)

有Cii=Ei,Cij=Cj。в捎:

И(x)-d(x)=∑Ni=1\/NИ

因此有:

ИE=∑Ni=1∑Nj=1Cij/N2(3)

考虑У姆夯误差E与′的泛化误差E′的大小关系,根据式(3),′У姆夯误差为:

ИE′=∑N-1i=1∑N-1j=1Cij/(N-1)2(4)

(N-1)2N2(E′-E)=(2N-1)∑N-1i=1∑N-1j=1Cij-

2(N-1)2∑N-1i=1CiN-(N-1)2CNN(5)

(2N-1)∑N-1i=1∑N-1j=1Cij

(N-1)2CNN(6)

根据式(5),当式(6)满足时,E′

使用遗传算法来解决神经网络选取的问题。若某遗传个体与{f1,f2,…,fN}的子集S相对应,假设验证集为V,用验证集V 计算的神经网络fi与fjУ南喙囟裙兰浦滴:

ИCVij=∑X∈V\\/|V|(7)

从而根据式(7),与S对应的神经网络集成在验证集V上的平均误差为:

И(∑fi,fj∈SCVij)/|S|2(8)И

将该误差的倒数作为遗传算法的适应度值[2]。

2 基于遗传算法的神经网络集成用于人耳识别

采用Carreira-Perpinan建立的人耳图像库(如图2所示部分人耳图像),该图像包括了17人,每人6幅,共102幅人耳图像[3]。由于该人耳图像库中的所有图像已经经过剪裁和旋转,长宽比例为1∶6(这是由人耳的结构特点决定的,人耳长宽比例的均值大致在1∶6附近),且进行了亮化处理,因此图像较理想,本文不在进行图像的预处理。本实验在Matlab 7.1环境下进行。

图2 Carreira-Perpinan部分人耳图像

2.1 融合特征提取

将图像库中每人前三幅图像组成训练样本集,其余图像组成测试样本集。

采用Zernike矩方法提取的图像具有旋转不变性的人耳几何特征,其稳定性强,有利于分类识别,但是当人耳图像受到其他因素如光照影响时,这种识别率就会降低。改进的非负矩阵分解是将线性判别融入到传统的非负矩阵分解方法中,通过最大化样本类间差异,最小化样本类内差异,提取具有判别能力的低维人耳特征,对光照等不敏感。将这两种具有互补性的特征串性融合,得到一个分类能力更强的特征[4-5]。将15维Zernike矩特征和16维子空间投影系数特征串行组合,得到一个31维的人耳特征向量。

2.2 Bagging算法生成个体网络

本文采用Bagging算法生成个体网络(如图3所示),每次从训练样本集中随机抽取2/3个样本进行训练,得到一个神经网络分类器,神经网络的输入是以上提取的31维人耳特征向量。输出为7维的样本类别向量(1个隐层,6个神经元)。神经网络集成的规模(训练神经网络集成中神经网络的个数)为10。

图3 Bagging算法生成个体神经网络集成

2.3 基于遗传算法的神经网络集成用于人耳识别

个体网络的选择:典型的神经网络集成方法可能生成彼此很相似的个体神经网络,这种网络不一定能够促使集成泛化误差的降低,还可能起到相反的作用。基于遗传算法的神经网络集成方法从训练好的10个BP网络中选择部分网络进行集成。实验中的参数设置:每个遗传个体的染色体长度为10(网络个数为10),遗传算法的群体规模为40,选择概率为0.5,交叉概率为0.8,变异概率为0.05,遗传算法的最大代数为50代,适应度函数选择式(8),精英变异位数量为6,变异范围是全体个体。神经网络的集成,将上步选择的神经网络组成集成,采用投票方法进行结果集成。输入测试样本,训练好的神经网络集成模型进行人耳识别,结果如表1所示。

表1 神经网络集成人耳识别实验结果比较

特征单个BP神经网络分类识别/%基于遗传算法的神经网络集成分类识别/%

融合特征88.394.2

从表1可以知道,使用单一BP神经网络作为分类器的识别率低于采用神经网络集成分类的识别率。

3 结 语

由于单一BP网络的泛化能力差和网络的不稳定,当图像数据较大时,影响分类识别能力。这里介绍了一种基于遗传算法的神经网络集成用于人耳识别,实验结果表明,使用采用神经网络集成可以提高人耳识别率。

参考文献

[1]周志华,陈世福. 神经网络集成[J]. 计算机学报, 2002, 25(1): 1-8.

[2]吴建鑫,周志华,沈学华,等. 一种选择性神经网络集成构造方法[J]. 计算机研究与发展, 2000, 37(9): 1039-1045.

[3]LAMMI H K. Ear biometrics[EB/OL]. \. http: // it. lut. fi/kurssit/03-04/010970000/seminars/Lammi. pdf.

[4]张志伟,夏克文,杨帆,等. 一种改进NMF算法及其在人脸识别中的应用[J]. 光电工程, 2007, 34(8): 121-126.

[5]张伟伟, 夏利民. 基于多特征融合和Bagging神经网络的人耳识别[J]. 计算机应用, 2006, 26(8): 1870-1872.

[6]张兆礼,赵春晖,梅晓丹. 现代图像处理技术及Matlab实现[M]. 北京:人民邮电出版社, 2001.

[7]於时才, 陈涓, 马宁. 一种提高神经网络集成系统泛化能力的方法[J]. 微电子学与计算机, 2009, 26(4): 105-107.

[8]李敏强,寇纪凇,林丹, 等. 遗传算法的基本理论与应用[M]. 北京:科学出版社, 2002.

[9]朱人杰,田雨波,贾则. 混沌搜索神经网络集成求解广义异或分类问题[J]. 微电子学与计算机, 2009, 26(5): 99-102.

[10]刘茂福,胡慧君,何炎祥. 主成分分析在图像Zernike矩特征降维中的应用[J]. 计算机应用, 2007, 27(3): 696-700.

神经网络文本分类篇(6)

关键词：壁纸识别；BP神经网络；不变矩

中图分类号：TP391.41

贴标的识别以往是通过人工识别，人为因素影响大，识别速度慢，精度低，不能满足大批量生产的需要。因此，在经济社会高速发展的今天，此方法越来越不能满足壁纸行业发展的需要。随着计算机的发展，通过计算机智能识别壁纸的纹理就成为可能，主要思路是将壁纸拍摄获知的图像进行纹理特征的提取，只要建立足够的特征库，就可以把需要判别的壁纸图片输入计算机，通过检索来判别该壁纸是哪种材种。因此，本文引入图像处理技术和BP神经网络技术，提出一种壁纸贴标自动识别算法，以解决贴标大批量生产的需要。

1 壁纸纹理特征的提取

不变矩是指物体图像经过平移，旋转以及比例变换仍保持不变的矩特征量，设物体的二维离散图像函数用f（x，y）表示，其（p+q）阶矩定义为：

（1）

相应的（p+q）阶中心矩定义为：

（2）

其中，x0=m10/m00，y0=m01/m00，x0表示二维图像的灰度在水平方向上的重心，y0表示二维图像的灰度在垂直方向上的重心。

HuM.K.等人利用二阶、三阶中心矩得到了7个不变矩特征参数，具体如下：

Φk=|log|Φk，k=1，2，3，4，5，6，7 （3）

在本设计的实验中要求样本的尺寸是256×256，从每一类原始样本中采集100个能表现该样本纹理的图片，形成识别样本库，之后提取了所有样本的不变矩纹理特征。

图1 壁纸样本图片

2 BP-神经网络分类器的设计

2.1 BP神经网络概述

BP神经网络（Back Propagation）是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种基于误差逆传播算法的多层前馈神经网络，目前广泛应用于分类、识别、函数逼近等领域。BP神经网络结构如图2所示，包括输入层、输出层和隐含层。

图2 BP神经网络结构图

BP学习算法的工作过程由正向传播和反向传播组成。正向传播过程是指输入信号从输入层经隐含层，在输出层产生输出信号。如果输出层不能得到期望的输出信号，输出信号将反向传播，将误差信号沿原有路径返回，并按照一定规则修改网络参数，逐渐地向输入层传播去进行计算，正向传播和反向传播两个过程的反复运用，直到误差信号满足要求。

2.2 BP神经网络分类器设计

2.2.1 网络输入节点数的设计

输入层节点数主要根据数据特征向量的维数来确定，本文输入节点数为不变矩特征向量的维数，即输入节点数为7。

2.2.2 网络隐含层数的设计

通常情况下，增加网络的隐含层数可以使网络误差降低，提高网络的精度，但同时也使网络变得复杂化，使得网络的训练时间增加，而且容易出现网络过拟合的情况。有研究表明，具有Sigmoid非线性函数的3层BP神经网络能够逼近任何连续函数。因此，本研究中神经网络分类器的隐含层数选为3层。

2.2.3 网络隐含层节点数的设计

在确定BP神经网络隐含层数后，下一步就需要确定隐含层节点数。隐含层神经元个数一般由 是公式确定，其中n是隐含层神经元个数，n0是输入层神经元个数，n1是输出神经元个数，a∈（1～10）。

2.2.4 网络输出层的设计

输出层的节点数是根据BP神经网络分类器的输出类别数量决定，也就是说，输出层的节点数应为类别总数。例如，本研究需要将待识别的壁纸样本分成8大类，那么输出层节点数应设置为8，并将每类对应的目标向量依次设置为[1 0 0 0 0 0 0 0]T、[0 1 0 0 0 0 0 0]T、[0 0 1 0 0 0 0 0]T、[0 0 0 1 0 0 0 0]T、[0 0 0 0 1 0 0 0]T、[0 0 0 0 0 1 0 0]T、[0 0 0 0 0 0 1 0]T、[0 0 0 0 0 0 0 1]T，对应目标向量的数目为对应输入壁纸样本的数目，即目标向量与输入壁纸样本是相互对应的。

本文BP神经网络分类器采用MATLAB神经网络工具箱进行设计，训练函数选择Trainlm，训练次数为200，误差为0.001，将壁纸样本其分成训练样本与测试样本2部分，并利用训练好的BP神经网络对样本进行自动识别，识别率达到90.0%。

3 结束语

实验结果表明不变矩纹理特征参数可以用于表征壁纸样本，使用本文设计的BP神经网络分类器可以有效识别不同种类的壁纸样本。

参考文献：

[1]高隽.人工神经网络原理及仿真实例[M].北京：机械工业出版社，2003：55-63.

[2]杨斐，王坤明，马欣.应用BP神经网络分类器识别交通标志[J].计算机工程，2000（10）：120-121.

[3]Yaping JIANG，Zuxin XU，Hailong YIN.Study on improved BP artificial neural networks in eutrophication assessment of China eastern lakes [J].Journal of Hydrodynamics，2006（03）：528-532.

[4]严晓梅，耿国华，周明全.基于改进BP神经网络的指纹自动分类器[J].微计算机信息，2007（01）：281-282+288.

[5]李梅，孟凡玲，李群.基于改进BP神经网络的地下水环境脆弱性评价[J].河海大学学报（自然科学版），2007（03）：245-249.

[6]闵惜琳，刘国华.用MATLAB神经网络工具箱开发BP网络应用[J].计算机应用，2001（08）：163-164.

神经网络文本分类篇(7)

关键词关键词：深度学习；卷积神经网络；古玩图片；图像识别

DOIDOI：10.11907/rjdk.162768

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2017）005017405

0引言

随着电子商务的发展，大批艺术品交易网站随之兴起，藏品交易规模也越来越大。而当前的古玩网上交易平台还不能够实现对现有藏品图片的自动分类，客户在寻找目标藏品时不得不在众多图片中一一浏览。因此需要一种有效的方法来完成面向图像内容的分类。

在基于内容的图像检索领域，常使用人工设计的特征-如根据花瓶、碗、盘子的不同形态特征：目标轮廓的圆度、质心、宽高比等[1]，继而使用BP神经网络、SVM分类器等对特征进行学习分类。文献[2]基于植物叶片的形状特征，如叶片形状的狭长度、矩形度、球状性、圆形度、偏心率、周长直径比等，利用BP神经网络实现对植物叶片进行分类。文献[3]研究印品图像的各类形状缺陷，利用图像缺陷形状的轮廓长度、面积和圆形度等几何特征，导入SVM分类器进行训练，得到分类器模型实现分类。文献[4]提出了一种基于Zernike矩的水果形状分类方法，通过提取图像中具有旋转不变性的Zernike矩特征，并运用PCA方法确定分类需要的特征数目，最后将这些特征输入到SVM分类器中，完成水果形状的分类。上述方法都要求对目标形状分割的准确性，而分割过程中由于存在目标阴影、目标分割不完整问题，会影响到人工特征的准确选取。除了上述人工特征外，最常用的特征是HOG[5，6]、SIFT[7，8]等。HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。HOG表示的是边缘结构特征，因此可以描述局部形状信息。SIFT在图像的空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。SIFT特征对于旋转、尺度缩放、亮度变化保持不变。但是，这两种特征在实际应用中，描述子生成过程冗长、计算量太大。而且在上述方法征设计需要启发式的方法和专业知识，很大程度上依靠个人经验。

卷积神经网络不需要手动设计提取特征，可以直接将图片作为输入，隐式地学习多层次特征，进而实现分类[9]。相比目前常用的人工设计特征然后利用各分类器，具有明显的优势。近年来，卷积神经网络已成为语音、图像识别领域研究热点。它的权值共享特点使得网络复杂度降低，权值数量减少。而且，卷积神经网络直接将图片作为输入，避免了复杂的特征设计和提取，具有一定的平移、缩放和扭曲不变性[10]。本文采用卷积神经网络对古玩图片进行分类。首先，将背景分离后的图片作为网络的输入，相比原图作为输入，此方法的网络结构更加简单。然后，卷积层通过不同的卷积核对输入图片进行卷积得到不同特征图，采样层进一步对特征图进行二次提取，最终提取到合适的特征输入分类器进行分类，而在卷积层、采样层征图的大小、数目都会影响到网络的分类能力。因此，本文通过优化网络参数，使网络达到较好的分类效果。

1卷积神经网络

1989年，LECUN等[11]提出了卷积神经网络（Convolution Neural Networks，CNN），CNN是一种带有卷积结构的深度神经网络，一般至少有2个非线性可训练的卷积层、2个非线性的固定采样层和1个全连接层，一共至少5个隐含层[12]。百度于2012年底将深度学习技术成功应用于自然图像OCR识别和人脸识别，此后深度学习模型被成功应用于一般图片的识别和理解。从百度经验来看，深度学习应用于图像识别不但大大提升了准确性，而且避免了人工特征抽取的时间消耗，从而大大提高了在线计算效率[13]。

卷积神经网络作为一种高效的深度学习方法[14]，在许多图像识别方面取得了很好的成效[1519]。该网络作为一种多隐层神经网络，可以提取图像的多层次特征进行识别。

卷积神经网络主要包括卷积层和采样层，卷积层通过可学习的卷积核对输入图片进行卷积得到特征图，卷积操作即加强了输入图片的某种特征，并且降低噪声。卷积之后的结果通过激活函数（通常选择Sigmoid函数或Tanh函数）作用输出构成该层的特征图。特征图上的每一个神经元只与输入图片的一个局部区域连接，每个神经元提取的是该局部区域的特征，所有神经元综合起来就得到了全局特征，与神经元相连接的局部区域即为局部感受野[20]。而在卷积层中一般存在多张特征图，同一张特征图使用相同的卷积核，不同特征图使用不同的卷积核[21]，此特点称为权值共享，即同一张特征图上的所有神经元通过相同的卷积核连接局部感受野。卷积神经网络的局部感受野和嘀倒蚕硖氐愦蟠蠹跎倭送络训练的参数个数，降低了网络模型的复杂度。

采样层对卷积层提取到的特征图进行局部非重叠采样，即把特征图分为互不重叠的N×N个子区域，对每个子区域进行采样。卷积神经网络的采样方式一般有两种：最大值采样和均值采样。最大值采样即选取区域内所有神经元的最大值作为采样值，均值采样为区域内所有神经元的平均值作为采样值。最大值采样偏向于提取目标的特征信息，而均值采样偏向于提取背景的特征信息[22]。采样后的特征平面在保留了区分度高特征的同时大大减少了数据量，它对一定程度的平移、比例缩放和扭曲具有不变性。

卷积神经网络通过卷积层和采样层的循环往复提取到图像由低层次到高层次的特征，最后一般通过全连接层将所有特征图展开得到一维向量，然后输入到分类器进行分类。

卷积神经网络在处理二维图像时，卷积层中每个神经元的输入与上一层的局部感受野相连接，并提取该局部的特征，权值共享特点又使得各神经元保持了原来的空间关系，将这些感受不同局部区域的神经元综合起来就得到了全局信息。采样层对特征图进行局部特征提取，不会改变神经元之间的空间关系，即二维图像经过卷积层、采样层仍然保持二维形式。因此，卷积神经网络有利于提取形状方面的特征。虽然卷积神经网络的局部感受野、权值共享和子采样使网络大大减少了需要训练参数的个数，但是该网络作为多隐层神经网络还是十分复杂的。对于不同的数据库，为了达到比较好的分类效果，网络的层数、卷积层特征图个数以及其它参数的设置都需要探究。

2基于卷积神经网络的古玩图片分类

2.1特征提取及传递

不同古玩的主要区别在于形状不同，而花瓶、盘子和碗在古玩中最常见，因此将这3类图片作为实验对象，对于其它种类的古玩图片的分类，该网络同样适用。卷积神经网络采用如下图所示的5层网络结构，并对网络各层的特征图数目、大小均作了修改。对于网络的输入，先将原图像进行目标与背景分割，然后进行灰度化、统一分辨率的处理，最后输入到卷积神经网络。由于训练卷积神经网络的根本目的是提取不同古玩的特征，而背景不是目标的一部分，对古玩识别来说并不提供任何有用的信息，反而对特征的提取造成干扰，所以去除背景噪声后，网络结构会更加简单，同时也利于网络对特征的学习。但是因为进行了去背景的预处理，网络也失去了对复杂背景下图片的识别能力，所以使用该网络进行古玩图片分类前都要进行目标分割的预处理过程。

卷积神经网络对古玩图片的特征提取过程如下：

（1）输入网络的图片为100×100大小的预处理图，卷积神经网络的输入层之后为卷积层，卷积层通过卷积核与输入图像进行卷积得到特征平面，卷积核大小为5×5。如图2所示，特征平面上每个神经元与原图像5×5大小的局部感受野连接。卷积核移动步长为1个像素，因此卷积层C1的特征平面大小为96×96。这种卷积操作在提取到输入图像的某一方面特征时，必然会损失掉图像的其他特征，而采取多个卷积核卷积图像得到多个特征平面则会一定程度上弥补这个缺陷。因此，在卷积层C1中使用了6个不同的卷积核与输入图像进行卷积，得到6种不同的特征平面图。如图3所示，同一张特征图上的所有神经元共享一个卷积核（权值共享），图中连接到同一个特征图的连接线表示同一个卷积核，6个不同的卷积核卷积输入图片得到6张不同的特征平面图。卷积之后的结果并非直接储存到C1层特征图中，而是通过激活函数将神经元非线性化，从而使网络具有更强的特征表达能力。激活函数选择Sigmoid函数。

卷积层中所使用的卷积核尺寸若过小，就无法提取有效表达的特征，过大则提取到的特征过于复杂。对于卷积层征图个数的设置，在一定范围内，特征图的个数越多，卷积层提取到越多有效表达原目标信息的特征，但是特征图个数如果过多，会使提取到的特征产生冗余，最终使分类效果变差。卷积层的各平面由式（1）决定： Xlj=f（∑i∈MjXl-1j*klij+blj）（1）

式（1）中，Mj表示选择输入的特征图集合，l是当前层数，f是激活函数，klij表示不同输入特征图对应的卷积核，blj为输出特征图对应的加性偏置。

（2）卷积层C1后的采样层S1由6个特征平面组成，采样层对上一层特征图进行局部平均和二次特征提取。采样过程如图4所示，特征平面上的每个神经元与上一层4×4大小的互不重合的邻域连接进行均值采样，最终每个平面的大小为24×24。采样层的各平面由式（2）决定：

Xlj=f（βljdown（Xl-1j）+blj）（2）

式（2）中，down（.）表示一个下采样函数，l是当前层数，f是激活函数，βlj表示输出特征图对应的乘性偏置，blj为输出特征图对应的加性偏置。

（3）卷积层C2与C1层操作方式一样，唯一区别的是C2层每个特征图由6个不同的卷积核与上一层6个特征图分别卷积求和得到，因此C2层一共有6×6个不同的卷积核，卷积核大小为5×5，C2层每个平面大小为20×20，共6个特征平面。

（4）采样层S2与S1层操作一样，对上一层4×4大小邻域进行均值采样，输出6个5×5大小的特征平面。本文所用的网络共包括2个卷积层、2个采样层、1个全连接层，由于输入图片已经过背景分离的预处理，采样层S2特征图大小为5×5，所以图1所示5层网络已经有很好的表达能力。如果直接将原图作为输入，那么网络的层数以及特征图的个数将比图1所示的网络更加复杂。

（5）全连接层将上一层6个5×5大小的二维平面展开成为1×150大小的一维向量输入Softmax[23]分类器，输出层一共有3个神经元（即分类的种类数目），分类器将提取到的特征向量映射到输出层的3个神经元上，即实现分类。

2.2网络训练

训练方式为有监督地训练，网络对盘子、花瓶和碗共三类图片进行分类，所以分类器输出一个3维向量，称为分类标签。在分类标签的第k维中1表示分类结果，否则为0。训练过程主要分为两个阶段：

第一阶段：向前传播A段。

将预处理过的图片输入卷积神经网络计算得到分类标签。

第二阶段：向后传播阶段。

计算输出的分类标签和实际分类标签之间的误差。根据误差最小化的原则调整网络中的各个权值。分类个数为3，共有N个训练样本。那么第n个样本的误差为：

En=12∑3k=1（tnk-ynk）2（3）

式（3）中，tn表示第n个样本的网络输出标签，tnk对应标签的第k维，yn表示第n个样本的实际分类标签，ynk对应标签的第k维。为了使误差变小，利用权值更新公式（4）更新各层神经元的权值，一直训练直到网络误差曲线收敛。

W（t+1）=W（t）+η・δ（t）・X（t）（4）

式（4）中，W（t）表示算第n个样本时的权值，W（t+1）表示计算第n+1个样本的权值，η为学习速率，选取经验值，δ为神经元的误差项，X表示神经元的输入。

3实验结果及分析

实验在MatlabR2012a平台上完成，CPU 2.30GHz，内存4GB，所采用的图像由相关古玩网站提供，分辨率统一格式化为100×100。由于盘子、花瓶和碗在各种古玩种类中它们之间的形状差别比较明显，本文实验对这三类古玩图片进行分类。对古玩图片进行了水平翻转处理，增加图片数据量，以加强网络对古玩图片分类的鲁棒性。实验数据如表1所示，图5列出了3类图片的部分样本，实验所用图片均与图5所示图片类似，背景比较单一，少数图片下方有类似阴影。

为了形象表示网络各层提取的不同特征，图6展示了当网络输入为盘子时的各层特征图。卷积层C1中6张特征图分别提取到了输入图片的不同特征，而由于权值共享，同一张特征图中神经元的空间关系保持不变，所以6张特征图都抓住了盘子的圆形特征。采样层S1对C1进行均值采样，相当于模糊滤波，所以S1层各特征图看起来模糊了一些。卷积层C2中每张特征图由6个不同的卷积核卷积S1层各特征图叠加而成，S2层与S1层处理方式相同。

为了说明将背景分离后的图片作为输入的网络与原图输入的网络之间的差异，设计了如表3所示的两种网络结构，网络CNN4只需要4层网络层就可以达到0.19%的错误率，而原图作为输入的CNN8共6层网络层，在网络达到收敛的情况下，错误率为5.24%。由此可以说明，将背景分离后图片作为输入的网络结构更加简单。

网络的训练采用了批量训练方式，即将样本分多批，当一批样本前向传播完之后才进行权值更新，每批大小为100，训练集共2 200张图片，网络迭代次数为1时共进行22次权值更新，所以权值更新的计算次数与迭代次数有如下关系：

计算次数=22×迭代次数（5）

图7为网络在训练集上的误差曲线图，横坐标为误差反向传播的计算次数，纵坐标为训练集上的均方误差。可以看出，当网络训练次数达到270次（计算次数约6 000）时，训练集误差趋于平缓，网络已经基本拟合。训练好的网络可以用来对测试集图片进行分类，表4为不同迭代次数下训练的网络在测试集上的分类错误率，可以看出迭代次数在达到270次后，网络在测试集的错误率收敛，此时只有2张图片出现分类错误。

表5给出了图像分类算法中常用的人工特征+BP神经网络、人工特征+SVM分类器以及Hog特征+SVM分类器与CNN方法的性能比较。人工设计的特征包括图片中目标轮廓的最大长宽比、质心、圆度等特征。从准确率方面来看，CNN方法的准确率高于其他方法，Hog特征方法的准确率远远高于人工特征的方法，说明了特征的好坏对图像分类效果有着很大程度上的影响，CNN提取到的特征比Hog和人工设计的特征更具代表性。从测试时间来看，Hog方法与CNN方法相差不多，采用人工特征的方法时间最长。综合两个方面，CNN方法在测试时间和HOG方法相近的情况下，准确率最高。

4结语

针对网上古玩图片分类问题，为了克服现有算法中人工设计特征困难以及往往依赖个人专业经验的不足，提出一种基于卷积神经网络的方法。将背景分离后的目标图片作为网络输入，可以实现自动提取特征进行分类，背景分离后图片作为网络输入使得网络结构更加简单，并且设置了合适的特征图个数以使网络在古玩图片集上取得较好的分类准确率。实验数据表明，该方法能够解决网上古玩图片的分类问题，并且分类准确率达到99%，其准确率优于常用的Hog特征以及人工特征方法。另外该方法不仅可以应用于网上古玩图片，还可应用于鞋类、服装等其它商品图像的分类。

参考文献参考文献：

[1]K KAVITHA，M.V.SUDHAMANI.Object based image retrieval from database using combined features[C].in Signal and Image Processing （ICSIP），2014.

[2]董红霞，郭斯羽，一种结合形状与纹理特征的植物叶片分类方法[J].计算机工程与应用，2014，50（23）：185188.

[3]舒文娉，刘全香，基于支持向量机的印品缺陷分类方法[J].包装工程，2014，35（23）：138142.

[4]应义斌，桂江生，饶秀勤，基于Zernike矩的水果形状分类[J].江苏大学学报：自然科学版，2007，28（1）：3639.

[5]ZHU Q，YEH M C，CHENG K T，et al.Fast human detection using acascade of histograms of oriented gradients[C].Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2006.

[6]M VILLAMIZAR，J SCANDALIANS，A SANFELIU bining colorbased invariant gradient detector with Hog descriptors for robust image detection in scenes under cast shadows[C].In Robotics and Automation，ICRA IEEE International Conference on.Barcelona，Spain：IEEE，2009.

[7]CHEN J，LI Q，PENG Q，et al.CSIFT based localityconstrained linear coding for image classification[J].Formal Pattern Analysis & Applications，2015，18（2）：441450.

[8]AHMAD YOUSEF K M，ALTABANJAH M，HUDAIB E，et al.SIFT based automatic number plate recognition[C].International Conference on Information and Communication Systems.IEEE，2015.

[9]LAWRENCE S，GLIES C L，TSOI A C，et al.Face recognition：a convolutional neuralnetwork approach[J].IEEE Transactions on Neural Networks，1997，8（1）：98113.

[10]TREVOR HASTIE，ROBERT TIBSHIRANI，J FRIEDMAN.The elements of statistical learning[M].New York：Springer，2001.

[11]Y LECUN，L BOUOU，Y BENGIO.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：22782324.

[12]DAHL J V，KOCH K C，KLEINHANS E，et al.Convolutional networks and applications in vision[C].International Symposium on Circuits and Systems （ISCAS 2010），2010：253256.

[13]余凯，贾磊，陈雨强，等.深度学习的昨天、今天和明天[J].计算机研究与发展，2013（09）：17991804.

[14]MAIRAL J，KONIUSZ P，HARCHAOUI Z，et al.Convolutional kernel networks[DB/OL].http：///pdf/1406.3332v2.pdf.

[15]Z世杰，杨东坡与刘金环，基于卷积神经网络的商品图像精细分类[J].山东科技大学学报：自然科学版，2014（6）：9196.

[16]程文博等，基于卷积神经网络的注塑制品短射缺陷识别[J].塑料工业，2015（7）：3134，38.

[17]邓柳，汪子杰，基于深度卷积神经网络的车型识别研究[J].计算机应用研究，2016（4）：14.

[18]T JONATAN，S MURPHY，Y LECUN，et al.Realtime continuous pose recovery of human hands using convolutional networks[J].ACM Transaction on Graphics，2014，33（5）：3842.

[19]S SKITTANON，A C SURENARAN，J C PLATT，et al.Convolutional networks for speech detection[C].Interspeech.Lisbon，Portugal：ISCA，2004.

[20]HUBEL D H，WIESEL T N.Integrative action in the cat's lateral geniculate body[J].Journal of Physiology，1961，155（2）：385398.

[21]JAKE BOUVRIE.Notes on convolutional neural networks[DB/OL].http：///5869/1/cnn_tutorial.pdf.