1986年,rumelhart提出了反向传播学习算法,即bp(backpropagation)算法。反向传播bp(back propagation)是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一[1]。这种算法可以对网络中各层的权系数进行修正,故适用于多层网络学习。bp算法是目前应用最广泛的神经网络学习算法之一,在自动控制中是最有用的学习算法,它含有输人层、输出层以及处于输入输出层之间的中间层。。在隐层中的神经元也称隐单元。隐层虽然和外界不连接,但是,它们的状态影响着输入输出之间的关系。也就是说,改变隐层的权系数,可以改变整个多层神经网络的性能[2]。
1bp 神经网络模型
bp 神经网络模型由一个输入层、一个输出层以及一个或多个隐含层构成,同一层中各神经元之间相互独立。输入信号从输入层神经元开始依次通过各个隐含层神经元,最后传递到输出层神经元, 图1给出了包含一个隐含层的bp网络模型结构,隐含层神经元个数为m。理论研究表明:具有一个输入层,一个线性输出层以及sigmoid 型激活函数的隐含层bp 网络能够以任意精度逼近任何连续可微函数[3]。
三层感知器中,输入向量为x=(x1,x2…xi…xn)t,图1中x0=-1是为隐层神经元引入阈值而设置的,隐层输入向量为y=(y1,y2…yj…ym,)t,图中y0=-1是为输出层神经元引入阈值而设置的;输出层输出向量o=(o1,o2, …,ok,ol)t,期望输出向量为d=(d1,d2, …,dk,dl)t,输入层到隐层之间的权值矩阵用v表示,v=(v1,v2, …,vj, …vm)t,隐层到输入层之间的权值矩阵用w表示,w=(w1,w2, …,w,k …wl)t,下面分析各层信号之间的关系[4]。
图1三层bp网络
对于输入层:
ok=f(netk) k=1,2, …,l,netk=∑mj=0wjkyj k=1,2, …,l;
对于隐层:
yj=f(netj)j=1,2, …,m,netj=∑ni=0vijxij=1,2, …,m;
以上两式中,激活函数都是sigmoid函数。
f(x)=11+e-x,f(x)具有连续、可导的特点且f’(x)= f(x)[1- f(x)]。
根据以上公式,我们可以推导出权值调整量δwjk和δvjk分别是:
δwjk=ηδokyj=η(dk-ok)ok(1-ok)yj,δvij=ηδyjxi=η(∑lk=1δokwjk)yj(1-yj)xi
2智能公交实时调度模型总体设计
公交公司的行车计划一般在年初就制定完成,调度员根据行车计划进行调度,遇到节假日、雨天等突况时,就凭调度员的工作经验调度。因此,可以考虑使用bp神经网络算法,在智能公交实时调度中加入误差反向传播算法,利用误差反向传播算法超强的学习能力和泛化能力,通过对公交海量历史调度数据的学习,建立公交车到达目的站点的预测模型。通过实时gps数据,就可以预测车辆到达目的地的大概时间,为建立智能公交调度提供极大的方便。智能公交实时调度模型如图2所示。
图2智能公交实时调度模型
从图2可以看出,智能公交实时调度模型分为3个主要模块。
(1)数据处理分析模块。;二是gps定位系统采集的实时数据,主要是各个时刻采集的运行数据。该模块根据各预测模型的需要,选择合理的数据输入,并对数据进行处理。
(2)预测模型模块。通过对现有数据的分析、预测,得到车辆到达调度站的运行时间预测结果。
(3)智能实时调度模块。输入预测模型可以得到车辆运行时间,根据公交历史调度计划以及公交客流数据,可以适当改变当前调度计划,临时下达调度指令,为建立与实际客流相结合的调度方法提供决策支持。
(4)基于bp神经网络的预测模型。公交车辆的运行时间总的来说还是比较固定的,但是有时候会随着道路拥挤情况、节假日、天气情况等有所改变。由于神经网络具备以任意精度逼近连续函数,具有较强的自我学习能力和泛化能力,能够充分体现输入数据与输出数据之间复杂的映射关系。因此,本文采用bp神经网络来预测车辆到达时间。
2.1输入变量对公交运行时间的影响
把公交车运行时间分
ti可以根据gps数据实时取得。
车辆位置:车辆在运行过程中所处的位置对公交车到达目的站有着一定的影响,根据gps实时数据,可以计算出车辆离终点站有多少距离,将车辆在ti时刻距调度站的距离作为影响因素。
天气情况:天气的好坏对公共汽车的运行产生比较大的影响,一般情况下,公交车在晴天的运行时间要比雨天少,车速比雨天快。
星期情况:从周一到周日,不同日子有着不同的客流,所以星期情况对公交的运行产生一定的影响。
节日:重大节日客流量明显增多,车辆的运行时间也会有所延长。
2.2变量获取
bp神经网络需要大量数据作为输入、输出样本,因此在构建bp神经网络前,首先要做的工作就是获取这些数据。利用先进的信息技术,可以获取公交车辆运行的gps数据,而天气、星期情况、是否节假日这些变量则可以在大量的历史数据中获得。
2.3基于神经网络的车辆预测模型
预测模型将采用三层bp神经网络,即一个输入层,一个隐层以及一个输出层,输入层一共有5个变量,分别是时间、车辆位置、天气情况、星期情况以及节假日。隐含层节点数目一共有11个节点。输出层为1个节点,采用有导师的学习方法。至此本文建立的bp网络结构为5×11×1,bp网络结构如图3所示。
图3bp神经网络结构
bp神经网络的车辆运行时间测算模型如图4所示。
其中:t 为当前时刻,w(t-t),当前时刻t之前t时刻神经网络输入层与隐层以及隐层与输出层之间的权值矩阵。
f(t):车辆从起始站到当前时刻车辆的运行时间。
f’(t):预测样本的输出时间。
xi(t):t时刻的第i个输入向量,i∈[0,1],其中xi为车辆在t时刻到达调度站的距离的输入向量,x2为天气情况输入向量,x3为车辆运行所处的星期输入向量,x4为车辆运行当天是否节日的输入向量,x5为gps采集数据的时刻向量。
图4bp神经网络的车辆运行时间测算模型
2.4样本数据取值及归一化方法
(1)gps定位数据。在车辆运行过程中,对车载gps数据进行采集,采集完成后通过一定的方法进行计算,从而得出车辆离到达站的距离,设该距离为一对一使用归一化处理,使得转换后的数值就落在(0,1)上。
(2)天气情况。在一段时间内,公交车会碰到不同的天气,不同的天气对公交的运行产生不同的影响。我们把天气进行分类,一共分为7种状况,分别是大雨、小雨、雪、大雾、小雾、晴天和阴天,用不同的数字来表示这7种天气情况。
(3)星期情况。对于不同的星期采用不同的分类方法表示,从星期一到星期日也采用不同的数字表示。
(4)节假日。节假日可以用布尔变量来表示,true是节假日,false为非节假日。
3结语
国内大多数公交调度优化研究都是着眼于静态调度,而本文将研究重点放在了实时调度方面,在智能公交实时调度中加入bp神经网络技术,用误差反向传播算法超强的学习能力和泛化能力,通过对公交海量历史调度数据的学习,建立公交车到达目的站点的预测模型。通过实时gps数据,就可以预测车辆到达目的地的大概时间,为建立智能公交调度提供极大的方便。
参考文献参考文献:
\[1\]李翔,朱全银.adaboost算法改进bp神经网络预测研究[j].计算机工程与科学,2013(8).
【关键词】计算机神经网络 Matlab 应用
近年来,大多控制系统的高品质控制都少不了对系统的仿真进行研究。根据仿真研究可以优化设定的控制参量,因此,控制系统的模拟与仿真一直是研究的重点。通常来说,控制系统进行计算机仿真必须首先创建系统模型,之后根据模型设定仿真城西,充分运用计算机对其进行动态模拟并展示结果。本文以计算机神经网络为研究视角,介绍了人工神经网络及BP网络模型,提出设计基于Simulink控制系统及动态仿真。
一、简述人工神经网络
人工神经网络又被称为神经网络,是由人脑结构的启发之下创建的计算模型,人工神经网络不单单是高度非线性动力学系统,也是自适应组织系统。神经网络的主要特征表现在他的学习、组织及容错能力方面。神经网络可以采用被训练的状态实现特定任务,从而为系统提供独具代表性的描述问题样本,就是其可以成组的输入、输出样本,神经网络可以推测出输入与输出数据之间的关系。等到训练完成之后,神经网络又能永凯训练和识别任意样本之间相似的新数据。同时,神经网络也能对不完整或存在噪音的数据进行识别,这一特征被广泛使用到预测、诊断、控制方面。在最抽象的层次上,神经网络可以看做一个黑箱,数据由一边输入,通过神经网络处理之后给予相应的输出。。人工神经网络功能如图1所示。
二、创建BP网络模型
BP网络是现今使用最广泛的神经网络模型。该模型的学习规则是采用反向传播(BP)对网络的权值和阀值进行调整,却阿伯网络误差的平方和达到最小状态。这是根据最下速下降方向上进行调整网络权值和阀值完成的。BP网络拥有超强的非线性映射和泛化性能,任何一连续函数或映射都可以使用三层网络来实现。如此一来,把其看做控制器就可以找到最佳的答案。使用控制器之前馈网络通常采用m-n-1结构,这一网络输入层具有m个神经元,隐层存在n个神经元,输出层则只有单一的神经元。本网络隐层转换为函数取tansig函数,可以把该神经元取值范围设定为()映射到(-1,+1),这个是可微函数,比较适合采用BP训练神经元。若BP网络的最后层是sigmoid型神经元,此时整个网络的输出就限定在比较小的范围之内。若purelin型线性神经元,那么整个网络的输出可以采用任意值,选取purelin型函数当做输出层的变换函数。
三、设计基于Simulink控制系统及动态仿真
创建Simulink动态仿真时在matlab环境下完成的动态系统建模、仿真的环境,可以采用功能模块建立控制系统展开仿真。这种方框图示的建模办法比较容易把复杂的数学模型输入至计算机内,从而简化编程过程。
(一)设置网络控制器
本文建立的控制系统其核心为网络控制器,基于matlab5.2应用环境基础上,采用两种方法构建网络控制器:①进入Simulink环境之后,采用Block&Toolboxes模块库,随之选取Neural Network子库的Transfer Function、Net Input Func―Tion、Weight Function三个功能模块来建立网络。简言之就是先创建单个神经元模型,随之根据阀值、权值、转移函数一次创建输出层、隐层,最后进行打包、封装就形成所需的网络,整个工作流程借助鼠标完成,便于操作。。。
(二)构造控制系统
控制器构造和封装完工之后,从Simulink的Source、Sinks、Linear模块库中调用所需的功能模块,该控制系统采用示波器可以清楚观察其输出曲线,也能把数据存储至MATLAB工作空间内,使用绘制命令Plot把控制系统与原系统的响应曲线画出来。由仿真结果可知,BP网络控制系统的性能远比原系统要好。
四、结束语
本文从人工神经网络和BP网络模型进行分析,采用Matlab构造与仿真控制系统,达到优化控制系统仿真的效果的目的,仿真结果表示该办法正确、有效。因此,大范围推广使用这一软件,可以有效利用Matlab各种资源,进一步提升工程实践水平。
参考文献:
[1] 卓先德.网络安全评估的仿真与应用研究[J].计算机仿真,2011,28(6):177-180.
摘要:常规PID控制器以其算法简单、可靠性高等优点,在工业生产得到了广泛应用。但是,PID控制器存在控制参数不易在线实时整定、难于对复杂对象进行有效控制等不足。利用神经网络自学习、自适应和非线性映射等特点,将神经网络和PID控制相结合,形成一种PID神经网络控制系统,可对工业中使用的具有大时滞、慢时变、非线性特点的电炉系统进行有效辨识与控制。
关键词:PID神经网络;智能控制器;滞后系统;时变系统;电炉控制系统
中图分类号:TP18文献标识码:A文章编号:1009-3044(2009)28-8028-03
Application of PID Neural Network in Electric Cooker Controlling Systems
REN Hui, WANG Wei-zhi
(Institute of Automation, Fuzhou University,Fuzhou 350002, China)
Abstract: General PID controller, because its algorithm is simple and high reliability,so has been widely used in industrial production. However, PID controller, there is not easy to line real-time control parameter tuning, is difficult for complex objects such as lack of effective control. Using neural network self-learning, adaptive and nonlinear mapping characteristics of neural network and PID control combined to form a PID neural network control system can be used in industry with a large time lag, slow time-varying, nonlinear characteristics of electric systems for effective identification and control.
Key words: PID neural network;intelligent controller;time lag system;time-varying system;electric cooker systems
近年来,随着神经网络理论的发展,将控制中应用最广泛的PID的控制器与具有自学习功能的神经网络相结合,已成为智能控制研究的一个新方向。并且,在这个方向上已取得了一些研究成果 。其主要的结合方式是在常规PID控制器的基础上增加一个神经网络模块,利用神经网络来在线调节 PID参数,但缺点是结构较复杂。本文介绍的PID神经网络是将PID控制规律融进神经网络之中构成的,实现了神经网络和PID控制规律的本质结合。它属于多层前向网络,但是它与一般的多层前向网络又不完全相同,一般的多层前向网络中的全部神经元的输入输出特性都是相同的,而PID-NN的隐含层是由比例、积分、微分三个单元组成,是一种动态前向网络,更适合于控制系统。各层神经元个数、连接方式、连接权值是按控制规律的基本原则和已有的经验确定的,保证了系统稳定和快速收敛。由于PID神经网络控制器是将神经网络和PID控制规律融为一体,所以其既具有常规PID控制器结构简单、参数物理意义明确之优点,同时又具有神经网络自学习、自适应的功能,可将PID神经网络应用于对工业控制领域的复杂非线性对象的控制。
本文提出一种基于PID神经网络的控制方案,用来对大时滞、慢时变、非线性的电炉系统进行辨识与控制。
1 PID神经网络控制系统
1.1 PID神经网络的结构
PID神经网络是一个 3层的前向网络,包括输入层、隐含层和输出层,其结构如图1所示。网络的输入层有2个神经元,分别对应系统的输人和输出;隐含层有3个神经元,各神经元的输出函数互不相同,分别对应比例(P)、积分(I)、微分(D)3个部分;网络的输出层完成PID-NN控制规律的综合。网络的前向计算实现PID神经网络的控制规律,网络的反向算法实现PID神经网络参数的自适应调整。
1.2 控制系统结构及其工作原理
PID神经网络控制系统结构如图2所示。控制系统包含PID神经网络辨识器(PID-NNI )和PID神经网络控制器((PID-NNC )。其中r(k)为系统的设定输入,y(k)为被控对象的实际输出,y~(k)为PID-NNI的输出,u(k)为PID-NNC的输出。系统的工作原理是:利用神经网络的非线性函数逼近能力和学习记忆功能,由PID-NNI在线对被控对象模型进行辨识。它利用输出偏差(e1(k)=y(k)-y~(k) ),修正网络权值,使之逐步适应被辨识对象的特性。当它学习到与被控对象基本一致时,PID-NNC利用系统偏差 (e2(k)=r(k)-y~(k)),通过反传算法实时调整自身权值,以跟上系统的变化,达到有效控制的目的。
2 PID神经网络学习算法
关键词人工神经网络;发展;应用
中图分类号:TP183 文献标识码:A 文章编号:1671-7597(2014)12-0003-01
随着科学技术的发展,各个行业和领域都在进行人工智能化的研究工作,已经成为专家学者研究的热点。人工神经网络就是在人工智能基础上发展而来的重要分支,对人工智能的发展具有重要的促进作用。人工神经网络从形成之初发展至今,经历了不同的发展阶段,并且在经济、生物、医学等领域得到了广泛的应用,解决了许多技术上的难题。
1人工神经网络概述
关于人工神经网络,到目前为止还没有一个得到广泛认可的统一定义,综合各专家学者的观点可以将人工神经网络简单的概括为是模仿人脑的结构和功能的计算机信息处理系统[1]。人工神经网络具有自身的发展特性,其具有很强的并行结构以及并行处理的能力,在实时和动态控制时能够起到很好的作用;人工神经网络具有非线性映射的特性,对处理非线性控制的问题时能给予一定的帮助;人工神经网络可以通过训练掌握数据归纳和处理的能力,因此在数学模型等难以处理时对问题进行解决;人工神经网络的适应性和集成性很强,能够适应不同规模的信息处理和大规模集成数据的处理与控制;人工神经网络不但在软件技术上比较成熟,而且近年来在硬件方面也得到了较大发展,提高了人工神经网络系统的信息处理能力。
2人工神经网络的发展历程
2.1 萌芽时期
在20世纪40年代,生物学家McCulloch与数学家Pitts共同发表文章,第一次提出了关于神经元的模型M-P模型,这一理论的提出为神经网络模型的研究和开发奠定了基础,在此基础上人工神经网络研究逐渐展开。1951年,心理学家Hebb提出了关于连接权数值强化的法则,为神经网络的学习功能开发进行了铺垫。之后生物学家Eccles通过实验证实了突触的真实分流,为神经网络研究突触的模拟功能提供了真实的模型基础以及生物学的依据[2]。随后,出现了能够模拟行为以及条件反射的处理机和自适应线性网络模型,提高了人工神经网络的速度和精准度。这一系列研究成果的出现为人工神经网络的形成和发展提供了可能。
2.2 低谷时期
在人工神经网络形成的初期,人们只是热衷于对它的研究,却对其自身的局限进行了忽视。Minskyh和Papert通过多年对神经网络的研究,在1969年对之前所取得的研究成果提出了质疑,认为当前研究出的神经网络只合适处理比较简单的线性问题,对于非线性问题以及多层网络问题却无法解决。由于他们的质疑,使神经网络的发展进入了低谷时期,但是在这一时期,专家和学者也并没有停止对神经网络的研究,针对他们的质疑也得出一些相应的研究成果。
2.3 复兴时期
美国的物理学家Hopfield在1982年提出了新的神经网络模型,并通过实验证明在满足一定的条件时,神经网络是能够达到稳定的状态的。通过他的研究和带动,众多专家学者又重新开始了对人工神经网络方面的研究,推动了神经网络的再一次发展[3]。经过专家学者的不断努力,提出了各种不同的人工神经网络的模型,神经网络理论研究不断深化,新的理论和方法层出不穷,使神经网络的研究和应用进入了一个崭新的时期。
2.4 稳步发展时期
随着人工神经网络研究在世界范围内的再次兴起,我国也迎来了相关理论研究的热潮,在人工神经网络和计算机技术方面取得了突破性的进展。到20世纪90年代时,国内对于神经网络领域的研究得到了进一步的完善和发展,而且能够利用神经网络对非线性的系统控制问题进行解决,研究成果显著。。
随着人工神经网络的稳步发展,逐渐建立了光学神经网络系统,利用光学的强大功能,提高了人工神经网络的学习能力和自适应能力。对非线性动态系统的控制问题,采取有效措施,提高超平面的光滑性,对其精度进行改进。之后有专家提出了关于人工神经网络的抽取算法,虽然保证了精度,但也加大了消耗,在一定程度上降低了神经网络的效率,因此在此基础上又提出了改进算法FERNN。混沌神经网络的发展也得到了相应的进步,提高了神经网络的泛化能力。
3人工神经网络的应用
3.1 在信息领域中的应用
人工神经网络在信息领域中的应用主要体现在信息处理和模式识别两个方面。由于科技的发展,当代信息处理工作越来越复杂,利用人工神经网络系统可以对人的思维进行模仿甚至是替代,面对问题自动诊断和解决,能够轻松解决许多传统方法无法解决的问题,在军事信息处理中的应用极为广泛[4]。模式识别是对事物表象的各种信息进行整理和分析,对事物进行辨别和解释的一个过程,这样对信息进行处理的过程与人类大脑的思维方式很相像。模式识别的方法可以分为两种,一种是统计模式识别,还有一种是结构模式识别,在语音识别和指纹识别等方面得到了广泛的应用。
3.2 在医学领域的应用
。目前,在医学领域中的应用涉及到理论和临床的各个方面,最主要的是生物信号的检测和自动分析以及专家系统等方面的应用。
3.3 在经济领域中的应用
经济领域中的商品价格、供需关系、风险系数等方面的信息构成也十分复杂且变幻莫测,人工神经网络可以对不完整的信息以及模糊不确定的信息进行简单明了的处理,与传统的经济统计方法相比具有其无法比拟的优势,数据分析的稳定性和可靠性更强。
3.4 在其他领域的应用
人工神经网络在控制领域、交通领域、心理学领域等方面都有很广泛的应用,能够对高难度的非线性问题进行处理,对交通运输方面进行集成式的管理,以其高适应性和优秀的模拟性能解决了许多传统方法无法解决的问题,促进了各个领域的快速发展。
4总结
随着科技的发展,人工智能系统将进入更加高级的发展阶段,人工神经网络也将得到更快的发展和更加广泛的应用。人工神经网络也许无法完全对人脑进行取代,但是其特有的非线性信息处理能力解决了许多人工无法解决的问题,在智能系统的各个领域中得到成功应用,今后的发展趋势将向着更加智能和集成的方向发展。
参考文献
[1]徐用懋,冯恩波.人工神经网络的发展及其在控制中的应用[J].化工进展,1993(5):8-12,20.
[2]汤素丽,罗宇锋.人工神经网络技术的发展与应用[J].电脑开发与应用,2009(10):59-61.
[3]李会玲,柴秋燕.人工神经网络与神经网络控制的发展及展望[J].邢台职业技术学院学报,2009(5):44-46.
【摘要】 人工神经网络由于其具有高度的自适应性、非线性、善于处理复杂关系的特点,在许多研究领域得到了广泛应用,并取得了令人瞩目的成就。对其目前在医学研究领域中的应用做一简单综述。
【关键词】 人工神经网络; 应用
人工神经网络(Artificial Neural Network,ANN)方法自从本世纪40年代被提出以来,许多从事人工智能、计算机科学、信息科学的科学家都在对它进行研究,已在军事、医疗、航天、自动控制、金融等许多领域取得了成功的应用。目前出现了许多模仿动物和人的智能形式与功能的某个方面的神经网络,例如,Grossberg提出的自适应共振理论(Adaptive Resonance Theory,ART),T-Kohenen的自组织特征映射网络(Self-Organizing feature Map,SOM),径向基函数网络(Radial Basis Function,RBF),Hopfield网等。进入90年代以后,由于计算机技术和信息技术的发展,以及各种算法的不断提出,神经网络的研究逐渐深化,应用面也逐步扩大,本研究对常用的神经网络方法及其在医学领域中的应用做一简单综述。
1 自组织特征映射网络(self-organizing feature map,SOM)在基因表达数据分析中的应用
1.1 方法介绍
脑神经学的研究表明,人脑中大量的神经元处于空间的不同区域,有着不同的功能,各自敏感着各自的输入信息模式的不同特征。芬兰赫尔辛基大学神经网络专家T.Kohonen根据大脑神经系统的这一特性,于1981年提出了自组织特征映射网络,它模拟人的大脑,利用竞争学习的方式进行网络学习,具有很强的自组织、自适应学习能力,鲁棒性和容错能力,其理论及应用发展很快,目前已在信息处理、模式识别、图像处理、语音识别、机器人控制、数据挖掘等方面都有成功应用的实例。
Kohonen网络由输入层和竞争层组成,网络结构见图1。输入层由N个神经元组成,竞争层由M个输出神经元组成,输入层与竞争层各神经元之间实现全互连接,竞争层之间实行侧向连接。设输入向量为x=(x1,…,xd)T ,输出神经元j对应的权重向量为wj=(wj1,…,wjd)T ,对每一输出神经元计算输入向量x 和权重向量wj 间的距离,据此利用竞争学习规则对权向量进行调节。在网络的竞争层,各神经元竞争对输入模式的响应机会,最后仅一个神经元成为胜利者,并对与获胜神经元有关的各权重朝着更有利于它竞争的方向调整,这样在每个获胜神经元附近形成一个“聚类区”,学习的结果使聚类区内各神经元的权重向量保持与输入向量逼近的趋势,从而使具有相近特性的输入向量聚集在一起,这种自组织聚类过程是系统自主、无教师示教的聚类方法,能将任意维输入模式在输出层映射成一维或二维离散图形,并保持其拓扑结构不变。网络通过对输入模式的学习,网络竞争层神经元相互竞争,自适应地形成对输入模式的不同响应,模拟大脑信息处理的聚类功能、自组织、自学习功能,实现用低维目标空间的点去表示高维原始空间的点,其工作原理和聚类算法及改进方法参见相关文献[1]。
1.2 应用
基因芯片技术的应用使得人们可以从基因水平探讨疾病的病因及预后,而基因芯片产生的数据具有高维度(变量多)、样本量小、高噪声的特点,样本量远小于变量数,如何从海量的数据中挖掘信息或知识成为重大课题。聚类分析是数据挖掘中的一类重要技术,传统方法主要有系统聚类、k-means聚类等,但在处理复杂非线性关系及变量间的交互作用时效果较差,受异常值影响较大。近年来神经网络技术法成为聚类领域的研究热点,其中自组织特征映射网络由于其良好的自适应性,其算法对基因表达数据的聚类有较高的稳定性和智能性,尤其在处理基因表达中有缺失数据及原始空间到目标空间存在非线性映射结构时有较好的体现,适用于复杂的多维数据的模式识别和特征分类等探索性分析,同时可实现聚类过程和结果的可视化[2]。目前Kohonen网络已被成功用到许多基因表达数据的分析中,Jihua Huang等[3]设计6×6的网络对酵母细胞周期数据进行分析,总正确率为67.7%;曹晖等[4]将其算法改进后用在酵母菌基因表达数据中,总正确率高达84.73%,有较高的聚类效能;邓庆山[5]将该模型与K平均值聚类方法结合用于公开的结肠基因表达数据集和白血病基因表达数据集,聚类的准确率分别为94.12%和90.32%。目前Kohonen网络在医学领域中主要应用前景有:① 发现与疾病相关的新的未知基因,对目标基因进一步研究,提高诊断的正确率,并对药物的开发研究提供重要的线索;② 对肿瘤组织的基因表达谱数据聚类,以期发现新的、未知的疾病亚型(肿瘤亚型),以便提出更加有针对性的治疗方案,为从分子水平对疾病分型、诊断、预后等提供依据;③ 发现与已知基因有相似功能的基因,为推断未知基因的可能功能提供线索。
2 BP神经网络在医学研究中的应用
2.1 BP神经网络在疾病辅助诊断中的应用
2.1.1 方法介绍
BP神经网络是目前应用最多的神经网络,一般由一个输入层(input layer)、一个输出层(output layer)、一个或几个中间层(隐层)组成。每一层可包含一个或多个神经元,其中每一层的每个神经元和前一层相连接,同一层之间没有连接。输入层神经元传递输入信息到第一隐层或直接传到输出层,隐层的神经元对输入层的信息加权求和,加一个常数后,经传递函数运算后传到下一个隐层(或输出层),常用的传递函数是logistic函数,即Φh=1/(1+exp(-z)) ,输出层神经元对前一层的输入信息加权求和经传递函数Φ0 (线性或logistic函数或门限函数)运算后输出,BP神经网络一般采用BP算法训练网络,关于BP算法及改进可参考相关文献[1]。
人工神经网络具有强大的非线性映射能力,含一个隐层的网络可以实现从输入到输出间的任意非线性映射,是典型的非线性数学模型,建立BP神经网络模型的一般步骤为:① BP网训练集、校验集、测试集的确定;② 输入数据的预处理:使输入变量的取值落在0到1的范围内,如果是无序分类变量,以哑变量的形式赋值;③ 神经网络模型的建立及训练:学习率、传递函数、隐层数、隐单元数的选择,注意防止过度拟合。一般使用灵敏度、特异度、阳性预测值、阴性预测值、ROC曲线对模型的预测性能进行评价。
2.1.2 应用
BP神经网络已广泛用于临床辅助诊断中,白云静等[6]用于中医证候的非线性建模,建立了RA证侯BP网络模型和DN证侯BP网络模型,结果显示平均诊断准确率分别为90.72%、92.21%,具有较高的诊断、预测能力。曹志峰[7]采用PROBEN1中的甲状腺疾病数据库用于甲状腺疾病(甲亢、甲减、正常)的诊断,结果显示训练样本的正确识别率为99.3% ,测试样本的正确识别率为98.2%,提示对临床诊断甲状腺疾病提供有益的帮助;还有学者用于急性心肌梗塞、甲状腺功能紊乱、乳腺癌、前列腺癌、宫颈癌、肺癌、卵巢癌、急性肺梗塞等的辅助诊断等[8]。
2.2 BP神经网络在生存分析中的应用
2.2.1 方法介绍
传统的生存分析方法有非参数、半参数、参数模型,参数模型主要有指数回归模型、Weibull回归模型,都要求对基线风险做一定的假设,但实际资料常常不符合条件,生存分析中应用最为广泛的半参数模型:Cox比例风险模型,但它要求满足比例风险的假定,在很多情况下也难以满足。基于神经网络的生存分析模型可以克服这些困难,可以探测复杂的非线性效应,复杂的交互效应,模型中协变量的效应可以随时间变化,对数据的分布不做要求。目前一些策略被用到神经网络预测方法中分析含有删失的生存数据,主要有Faraggi-Simon(1995)法、Liestol-Andersen-Andersen(1994) 法、改良uckley-James(1979)法等。
BP神经网络建立生存分析模型常用的方法有[9]:连续时间模型(continuous time models)与离散时间模型(discrete time models)。常用的Faraggi和Simon[10]提出的连续时间模型扩展了Cox回归模型,允许非线性函数代替通常的协变量的线性组合,这种方法既保持了Cox回归模型的比例风险的特点,又提供了处理复杂非线性关系、交互作用能力的好方法。
离散时间模型常用的模型有:① 输出层为单个结点:模型的输出层只有一个神经元结点,是最简单的神经网络模型,生存时间被分成两个区间,当研究者仅仅对某一时间点的预后感兴趣时,例如预测癌症患者的5年生存情况,如欲预测多个时间点,则需建立多个神经网络模型(每个模型对应一个时间区间);② 输出层为多个结点:生存时间被分成几个离散的区间,估计某个时间区间事件发生的概率,Liestol法是常用的离散时间模型。还有研究者在建立多个时间区间模型时将时间也做为一个输入变量,也有学者将神经网络纳入Bayes方法的研究框架。
一般采用灵敏度、特异度、一致性指数C(Concordance index)作为预测准确性的评价指标,神经网络在生存分析中的应用主要在于[11]:个体患者预后的预测,研究预后因子的重要性,研究预后因子的相互作用,对于预测变量的影响力强弱及解释性,还有待进一步探讨。
2.2.2 应用
国外Ruth M.Ripley等[9]将7种不同的神经网络生存分析模型(3种离散时间模型,4种连续时间模型)用于1335例乳腺癌患者复发概率的预测,并对其精确性、灵敏度、特异度等预测性能指标进行比较,结果证明神经网络方法能成功用于生存分析问题,可以提取预后因子所蕴涵的最大可能的信息。Anny Xiang等[12]采用Monte Carlo模拟研究方法,在9种实验条件下(不同的输入结点、删失比例、样本含量等)对Faraggi-Simon法、Liestol-Andersen-Andersen法、改良Buckley-James法处理右删失生存数据的性能与Cox回归作比较,研究结果提示神经网络方法可以作为分析右删失数据的一个有效的方法。D.J.Groves[13]等将Cox回归与神经网络方法对儿童急性淋巴母细胞白血病的预后进行了比较,Lucila Ohno-Machado等[14]建立输出层为4个结点的离散时间神经网络模型做为AIDS预后研究的工具,并使用ROC曲线下面积、灵敏度、特异度、阳性预测值、阴性预测值对不同时间区间的预测性能做了评价。国内用于生存分析方面的研究还较少,黄德生[15]等利用BP神经网络建立time-coded model和single-time point model用于肺鳞癌预后预测,贺佳[16]等把BP网络用于预测肝癌患者术后无瘤生存期,也有学者对AIDS、恶性肿瘤的预后做了相关的研究。
2.3 BP神经网络在其它方面的应用
。神经网络在法医学研究领域具有实用性和广泛的应用前景,法医学家将其用在死亡时间推断、死因分析、个体识别和毒物分析等研究中[18]。在药学研究中也有一定的应用,例如在定量药物设计、药物分析、药动/药效学研究中,都有成功的应用案例,相秉仁等[19]对其做了详细的综述。曹显庆[20]等还将神经网络用于ECG、EEG等信号的识别和处理、医学图像分析中,取得了较好的结果。
人工神经网络是在研究生物神经网络的基础上建立的模型,迄今为止有代表性的网络模型已达数10种,人工神经网络不需要精确的数学模型,没有任何对变量的假设要求,能通过模拟人的智能行为处理复杂的、不确定的、非线性问题。在医学研究领域,变量间关系往往非常复杂,为了探测变量间的复杂模式,神经网络正逐渐变成分析数据的流行工具。目前国际上已出现许多著名的神经网络专业杂志:Neural Network,Neural Computation,IEEE Transaction on Neural Networks等,同时已有许多商业化的神经网络开发软件,如Matlab软件, S-plus软件,SNNS(Stuttgart Neural Network Simulator)等,高版本SAS系统中的Enterprise Miner应用模块中也可以建立神经网络模型,随着计算机技术的进一步发展,人工神经网络在医学领域的应用前景也会更加广阔。
【参考文献】
1 余雪丽,主编.神经网络与实例学习.中国铁道出版社,1996.
2 白耀辉,陈明.利用自组织特征映射神经网络进行可视化聚类.计算机仿真,2006,23(1):180~183.
3 Jinua Huang,Hiroshi Shimizu,Suteaki Shioya.Clustering gene expression pattern and extracting relationship in gene network based on artificial neural networks.Journal of bioscience and bioengineering,2003,96(5):421~428.
4 曹晖,席斌,米红.一种新聚类算法在基因表达数据分析中的应用.计算机工程与应用,2007,43(18):234~238.
5 邓庆山.聚类分析在基因表达数据上的应用研究.计算机工程与应用,2005,41(35):210~212.
6 白云静,申洪波,孟庆刚,等.基于人工神经网络的中医证侯非线性建模研究.中国中医药信息杂志,2007,14(7):3~4.
7 曹志峰. BP 神经网络在临床诊断中的应用与探讨.实用医技杂志,2005,12(9):2656~2657.
8 William G Baxt. Application of artificial neural networks to clinical medicine. The Lancet,1995,346(8983):1135~1138.
9 Ruth M.Ripley,Adrian L.Harris,Lionel Tarassenko.Non-linear survival analysis using neural networks. Statistics in medicine,2004,23(5):825~842.
10 David Faraggi,Richard Simon.A neural network model for survival data. Statistics in medicine,1995,14(1):73~82.
11 高蔚,聂绍发,施侣元,等.神经网络在生存分析中的应用进展.中国卫生统计,2006,23(4):358~360.
12 Anny Xiang,Pablo Lapuerta, Alex of the performance of neural network methods and Cox regression for censored survival statistics & data analysis,2000,34(2):243~257.
13 D.J.Groves,S.W.Smye,S.E.Kinsey.A comparison of Cox regression and neural networks for risk stratification in case of acute lymphoblastic leukaemia in children.Neural computing & applications,1999,8(3):257~264.
14 Lucila Ohno-Machado.A comparison of cox proportional hazards and artificial neural network models for medicial Biol Med,1997,27(1):55~65.
15 黄德生,周宝森,刘延龄,等.BP人工神经网络用于肺鳞癌预后预测.中国卫生统计,2000,17(6):337~340.
16 贺佳,张智坚,贺宪民.肝癌术后无瘤生存期的人工神经网络预测.数理统计与管理,2002,21(4):14~16.
17 黎衍云,李锐,张胜年.人工神经网络及其在疾病筛查中的应用前景.环境与职业医学,2006,23(1):71~73.
18 汪岚,刘良.人工神经网络的法医学应用.中国法医学杂志,2005,20(3):161~163.
【关键词】神经网络 手写 识别系统 应用
随着计算机技术的快速发展,其在人们的办公学习和日常生活成了不可替代的工具。。计算机和键盘是由西方国家发明的,其符合西方国家的语言习惯,对于中国人来说,用字母、符号去完成方块汉字的输入就需要使用者非常熟悉汉语拼音或者五笔编码,对于文化程度较低的使用者来说,这些都限制着他们使用计算机。鉴于计算机键盘的这些缺陷,联机手写输入法应运而生,这为计算机的输入带来了新的发展机遇和挑战。
1 联机汉字手写识别的意义及难点
联机汉字识别是用书写板代替传统纸张,笔尖通过数字化书写板的轨迹通过采样系统按时间先后发送到计算机中,计算机则自动的完成汉字的识别和显示。
1.1 联机汉字手写识别的意义
联机手写汉字识别的诞生具有非常重要的意义。首先这种输入方法延续了几千年中华文明的写字习惯,实现用户的手写输入,对于长时间不提笔写字的用户来说能够加强其对汉字书写方面的认识,防止“提笔忘字”现象的继续恶化。其次,手写汉字输入不需要学习和记忆计算机的汉字编码规则,其完全符合中国人的写字习惯,使人机之间的交流更人性化,更方便快捷。另外,随着移动智能终端的不断普及,联机汉字手写识别的应用范围将进一步扩大,以适用于不同层次人群对信息输入的需要,具有较大的市场发展前景。
1.2 联机手写汉字识别问题的难点
手写汉字识别是光学字符读出器中最难的部分,也是其最终的目标,手写汉字识别的应用主要依赖于其正确识别率和识别速度[1]。手写汉字识别系统的问题具有其特殊性:
(1)中国汉字量大。我国目前的常用汉字大概在4000个左右,在实际应用中的汉字识别系统应该能够完全识别这些常用的字才能够满足需要,由于超大的汉字量,使得手写识别的正确率和识别速度一直不高。
(2)字体多,结构复杂。汉字的手写字体丰富多彩,且汉字的笔画繁多,以及复杂的结构,再加上汉字中的形近字颇多,这些都为汉字识别系统的发展造成了很大的困难。
(3)书写变化大。不同用户在进行手写输入时其字体的变化是很大的,这种变化因人而异,对汉字识别造成了很大的干扰,增加了汉字匹配的难度。
2 人工神经网络概述
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,通常简称为神经网络,是一种仿生物神经的信号处理模型。在二十世纪四十年代初人们开始进行神经网络的研究,经过几十年的发展,神经网络也产生了一系列的突破,目前应用最多的是Hopfield模型和BP算法。
神经网络的一般模型一般包括十个方面:环境、处理单元、传播规则、神经网络的状态、互联模式、稳定状态、操作模式、活跃规则、活化函数和学习算法。其中,神经元、互联模式、学习算法是神经网络模型中的三个关键因素。神经网络的一个重要内容就是学习,其学习方式可以分为监督学习和无监督学习,其学习过程一般遵循Hebb规则,误差修正学习算法以及胜者为王的学习规则,其中Hebb规则是神经网络学习中最基本的规则。
人工神经网络具有独特的优越性。首先其具有主动学习的功能,在汉字识别过程中,先将汉字模板及可能的识别结果输入到神经网络中,神经网络能够通过其自身的学习过程来实现对汉字的识别,自学功能对于神经网络的预测功能具有非常重要的意义。其次,神经网络系统具有联想存储功能,其反馈功能能够实现这种联想。另外,通过计算机的高速运算能力,神经网络具有高速寻找优化解的能力。
3 人工神经网络在联机手写识别系统中的应用
汉字识别属于大类别模式识别,人工神经网络可以通过函数逼近、数据分类、数据聚类三种作用方式以及“联想”的特殊模式对汉字进行识别。Hopfield神经网络作为反馈网络的一种,其自联想记忆网络可以使系统不需要通过大量的训练即可对汉字进行识别,因此Hopfield神经网络对于汉字识别来说具有独特的优势。其中的离散型Hopfield神经网络能够通过串行异步和并行同步的工作方式,使其反馈过程具有非常好的稳定性,而网络只有通过不断的演变稳定在某一吸引子状态时,才能够实现正确的联想。
联机手写识别可以分为训练阶段和识别阶段。训练阶段流程依次为:标准书写字符图像预处理,提取特征并建立特征库,建立Hopfield网络模型,训练网络,保存权值。识别阶段的流程为:坐标序列转化为bmp图像,预处理测试样本,提取特征,送入网络运行,运行网络到平衡状态,分析结果值。根据联机手写识别的工作流程以及Hopfield网络模型的理论,基于Hopfield神经网络的联机手写识别系统在Matlab环境下得到了仿真模拟,效果非常理想。
4 总结
手写识别系统能够弥补普通键盘的不足,在提高汉字书写频率的同时,能够满足不同层次人群对计算机应用的技术需要。基于Hopfield神经网络的联机手写识别系统一起自身独特的性能,不仅能够满足手写汉字识别的正确率,而且其识别过程速度非常快。因此它对于实现联机手写识别以及图像识别具有非常重要的意义。
参考文献
[1]俞庆英.联机手写汉字识别系统的研究与实现[D].安徽大学,2005(5).
[2]郭力宾.交叉点的神经网络识别及联机手写字符的概率神经网络识别初探[D].大连理工大学,2003(03).
[3]赵蓉.基于神经网络的联机手写识别系统研究与实现[D].西安电子科技大学,2011(01).
周珍娟(1979-), 女,江西抚州人。计算机专业硕士。现为江苏城市职业学院讲师。主要研究方向为网络安全,模式识别。
因篇幅问题不能全部显示,请点此查看更多更全内容