陈颖频的科学网博客分享 http://blog.sciencenet.cn/u/s110500617

博文

1-6-1学习神经网络编程

已有 2482 次阅读 2015-6-28 00:29 |系统分类:科研笔记|关键词:学者

 前段时间阅读了候媛彬教授的神经网络教材,对3-6-1网络大为困惑,自己仿造其编程思想写了一个1-6-1学习网络,和大家分享,这里需注意的是,候教授的这个例题其实是想说明神经网络的学习能力,而不含预测或者拟合的功能,值得注意的是,将神经网络用于函数拟合的问题并不是本文例题想要阐述的,函数拟合最大的特点是输入变化,而网络权值收敛,但此题中,输入变量是不变的,下面程序中大家可以看到我们把输入变量p写死了的,学习网络和拟合网络,两类问题是不一样的,关键在于优化的目标函数不同,学习网络目标函数是每一次的教师信号,而拟合网络的目标函数是训练样本输出总平均误差,这两个目标函数及其容易混淆,但是区别是巨大的,对于学习网络,目标函数即每一个训练样本的期望输出,而拟合网络的目标函数则是所有训练样本的平均误差,希望本题抛砖引玉。

%功能:1-6-1网络逼近正弦曲线,采取单点逼近法
%版本号:v1.3
%作者:陈颖频
%版权:闽南师范大学
%时间:2015.6.27

clear all;
clc;
w_ij=[.011; -.019; -.016;.017; .021; .013];   %输入层到隐层权值
w_jk=[.018;.09;.09;.07;.08;.09] ;             %隐层到输出层权值
h_theta=[-0.1 ;0.02; 0.012; 0.014 ;-0.02 ;0.02];     %隐层阈值
out_theta=.2;    %输出层阈值                            
e2=0;
a1=0.02;a2=0.6;M=60;
%+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
for m=1:M        

yp=sin(pi*0.04*m);

%这就是所谓的输入,事实上是写死的,所以这个网络不具有拟合、预测功能,仅仅是有学习功能,p是写死的
p=0.3;

p=0.3;
for  k=1:40                          %训练次数
h=tanh(w_ij*p+h_theta).';   %隐层输出
y=tanh(h*w_jk+out_theta);      %输出层输出
e2=[(yp-y)^2]/2;       %当次训练误差
if e2<0.05, a1=0;else, a1=0.032; end;        
 for  i=1:6
     deta_k=(1+y)*(1-y)*(yp-y);%计算输出层误差反传信号
     w_jk(i)=w_jk(i)+a1*deta_k*h(i);
 end
 for   i=1:6    
     deta_j=(1+h(i))*[1-h(i)]*deta_k*w_jk(i);
     h_theta(i)=h_theta(i)+a1*deta_j;  
     w_ij(i)=w_ij(i)+a1*deta_j*p;
 end  
 out_theta=out_theta+a2*(yp-y);
if  e2<=.005  break;end
end
ypp(m)=yp;
yom(m)=y;
e3(m)=e2;
end
%grapher
m=1:M;subplot(4,1,1);plot(ypp);ylabel('ypp'),
subplot(4,1,2);plot(m,yom,m,yom,'rx');ylabel('yom'),
subplot(4,1,3);plot(e3);ylabel('e3');
subplot(4,1,4);plot(m,ypp,m,yom,'gx');xlabel('m'),ylabel('ypp&yom'),
legend('ypp=sin(2*pi*m/50)','yom=output of NN');



                         






https://m.sciencenet.cn/blog-684084-901045.html

上一篇:求助:按照BP神经网络原理编写的代码,为什么拟合效果完全不对?
下一篇:1-6-1 神经网络多点学习预测网络 vs 1-6-1单点学习网络

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-28 16:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部