科学网—标签 - 线性回归

相关帖子	版块	作者	回复/查看	最后发表

michunrong123 2015-3-25 15:23

最小二乘法线性回归拟合 library (BSDA) #调用BSDA库，目的是为了调用后面的数据 attach (Gpa) #Gpa数据 head (Gpa) #显示前六行数据 ## HSGPA CollGPA ## 1 2.7 2.2 ## 2 3.1 2.8 ## 3 2.1 2.4 ## 4 3.2 3.8 ## 5 2.4 1.9 ## 6 3.4 3.5 Y - CollGPA x - HSGPA plot (x, Y, col= blue , main= Scatterplot of College Versus High School GPA , xlab= High School GPA , ylab= College GPA，xlim=c(0,5) ) ##做散点图 #线性拟合 model- lm (Y~x, data= Gpa) abline(model) summary (model) ## ## Call: ## lm(formula = Y ~ x, data = Gpa) ## ## Residuals: ## Min 1Q Median 3Q Max ## -0.48653 -0.37273 -0.02328 0.37365 0.54817 ## ## Coefficients: ## Estimate Std. Error t value Pr(|t|) ## (Intercept) -0.9504 0.8318 -1.143 0.28625 ## x 1.3470 0.3027 4.449 0.00214 ** ## --- ## Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 ## ## Residual standard error: 0.4333 on 8 degrees of freedom ## Multiple R-squared: 0.7122, Adjusted R-squared: 0.6762 ## F-statistic: 19.8 on 1 and 8 DF, p-value: 0.002141 ##拟合方程是：Y=1.3470x-0.9504, R方为 0.7122 总结感悟： R 软件的线性拟合采用最小二乘法进行线性拟合上面过程采用RSutio的Knitr完成，Knitr的解释和安装方法见下文。 Knitr解释： knitr 是 R语言中一个用来动态生成报告的包，用户可以在报告中嵌入数据分析的源代码，通过knitr编译直接生成一份报告，而无需复制粘贴结果，所有结果由knitr执行源代码动态生成。knitr可以结合 LaTeX 、 LyX 、 HTML 、 Markdown 以及 reStructuredText 文档使用。它的设计范式源于文学编程，目的是促进可重复的科学研究。它是开源软件，许可证为 GNU GPL 。 knitr的编写受到 Sweave 影响，但模块化程度更高，扩展方便，支持文档类型也更多（Sweave主要用于LaTeX文档）。例如它支持R Markdown格式，RPubs网站是一个很好的应用示例。其它扩展包括：缓存、 TikZ 图形、多语言支持（如 Python 、 Perl 、 Shell 和 CoffeeScript 等）。目前支持knitr的编辑器有 RStudio 、 LyX 和 Emacs /ESS。 ——http://zh.wikipedia.org/wiki/Knitr Knitr安装方法：有兴趣的朋友可以尝试玩玩，如有不懂的地方，可以联系michunrong123@126.com,请注明来自人人小站，谢谢！ Mcr 20150325于国科大

个人分类: 科研软件|22153 次阅读|0 个评论

[转载]机器学习中的数学(1)-回归、梯度下降

zhenliangli 2012-3-24 14:09

版权声明：本文由LeftNotEasy所有，发布于 http://leftnoteasy.cnblogs.com 。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言: 上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推荐两个：一个是stanford的machine learning公开课，在verycd可下载，可惜没有翻译。不过还是可以看。另外一个是prml-pattern recognition and machine learning, Bishop的一部反响不错的书，而且是2008年的，算是比较新的一本书了。前几天还准备写一个分布式计算的系列，只写了个开头，又换到写这个系列了。以后看哪边的心得更多，就写哪一个系列吧。最近干的事情比较杂，有跟机器学习相关的，有跟数学相关的，也有跟分布式相关的。这个系列主要想能够用数学去描述机器学习，想要学好机器学习，首先得去理解其中的数学意义，不一定要到能够轻松自如的推导中间的公式，不过至少得认识这些式子吧，不然看一些相关的论文可就看不懂了，这个系列主要将会着重于去机器学习的数学描述这个部分，将会覆盖但不一定局限于回归、聚类、分类等算法。回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的open source的软件中看到，比如说weka。大概就是，做一个房屋价值的评估系统，一个房屋的价值来自很多地方，比如说面积、房间的数量（几室几厅）、地段、朝向等等，这些影响房屋价值的变量被称为特征(feature)，feature在机器学习中是一个很重要的概念，有很多的论文专门探讨这个东西。在此处，为了简单，假设我们的房屋就是一个变量影响的，就是房屋的面积。假设有一个房屋销售的数据如下：面积(m^2) 销售价钱（万元） 123 250 150 320 87 160 102 220 … … 这个表类似于帝都5环左右的房屋价钱，我们可以做出一个图，x轴是房屋的面积。y轴是房屋的售价，如下：如果来了一个新的面积，假设在销售价钱的记录中没有的，我们怎么办呢？我们可以用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以在将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子：绿色的点就是我们想要预测的点。首先给出一些概念和常用的符号，在不同的机器学习书籍中可能有一定的差别。房屋销售记录表 - 训练集(training set)或者训练数据(training data), 是我们流程中的输入数据，一般称为x 房屋销售价钱 - 输出数据，一般称为y 拟合的函数（或者称为假设或者模型），一般写做 y = h(x) 训练数据的条目数(#training set), 一条训练数据是由一对输入数据和输出数据组成的输入数据的维度(特征的个数，#features)，n 下面是一个典型的机器学习的过程，首先给出一个输入数据，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等等，我们可以做出一个估计函数： θ在这儿称为参数，在这儿的意思是调整feature中每个分量的影响力，就是到底是房屋的面积更重要还是房屋的地段更重要。为了如果我们令X0 = 1，就可以用向量的方式来表示了：我们程序也需要一个机制去评估我们θ是否比较好，所以说需要对我们做出的h函数进行评估，一般这个函数称为损失函数（loss function）或者错误函数(error function)，描述h函数不好的程度，在下面，我们称这个函数为J函数在这儿我们可以做出下面的一个错误函数：这个错误估计函数是去对x(i)的估计值与真实值y(i)差的平方和作为错误估计函数，前面乘上的1/2是为了在求导的时候，这个系数就不见了。如何调整θ以使得J(θ)取得最小值有很多方法，其中有最小二乘法(min square)，是一种完全是数学描述的方法，在stanford机器学习开放课最后的部分会推导最小二乘法的公式的来源，这个来很多的机器学习和数学书上都可以找到，这里就不提最小二乘法，而谈谈梯度下降法。梯度下降法是按下面的流程进行的： 1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。 2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。为了更清楚，给出下面的图：这是一个表示参数θ与误差函数J(θ)的关系图，红色的部分是表示J(θ)有着比较高的取值，我们需要的是，能够让J(θ)的值尽量的低。也就是深蓝色的部分。θ0，θ1表示θ向量的两个维度。在上面提到梯度下降法的第一步是给θ给一个初值，假设随机给的初值是在图上的十字点。然后我们将θ按照梯度下降的方向进行调整，就会使得J(θ)往更低的方向进行变化，如图所示，算法的结束将是在θ下降到无法继续下降为止。当然，可能梯度下降的最终点并非是全局最小点，可能是一个局部最小点，可能是下面的情况：上面这张图就是描述的一个局部最小点，这是我们重新选择了一个初始点得到的，看来我们这个算法将会在很大的程度上被初始点的选择影响而陷入局部最小点下面我将用一个例子描述一下梯度减少的过程，对于我们的函数J(θ)求偏导J：（求导的过程如果不明白，可以温习一下微积分）下面是更新的过程，也就是θi会向着梯度最小的方向进行减少。θi表示更新之前的值，-后面的部分表示按梯度方向减少的量，α表示步长，也就是每次按照梯度减少的方向变化多少。一个很重要的地方值得注意的是，梯度是有方向的，对于一个向量θ，每一维分量θi都可以求出一个梯度的方向，我们就可以找到一个整体的方向，在变化的时候，我们就朝着下降最多的方向进行变化就可以达到一个最小点，不管它是局部的还是全局的。用更简单的数学语言进行描述步骤2）是这样的：倒三角形表示梯度，按这种方式来表示，θi就不见了，看看用好向量和矩阵，真的会大大的简化数学的描述啊。总结与预告：本文中的内容主要取自stanford的课程第二集，希望我把意思表达清楚了：）本系列的下一篇文章也将会取自stanford课程的第三集，下一次将会深入的讲讲回归、logistic回归、和Newton法，不过本系列并不希望做成stanford课程的笔记版，再往后面就不一定完全与stanford课程保持一致了。本文转载自： http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html

个人分类: MachineLearning|2008 次阅读|0 个评论

使用R语言进行简单线性回归

Bearjazz 2011-12-31 16:25

使用 R 语言进行简单线性回归熊荣川六盘水师范学院 xiongrongchuan@126.com 为了图文并貌，请下载pdf文件观看。使用R语言进行简单线性回归.pdf 输入注释 A - read.table(file="onev.csv", header=TRUE, sep=",") 读入工作目录中数据文件 A 查看矩阵数据 plot (A$x, A$y) 作 x ， y 的散点图 lm.reg - lm( A$y ~ A$x ) 作线性回归 abline(lm.reg) 画出回归曲线 summary(lm.reg) 查看统计结果 Call: lm(formula = A$y ~ A$x) Residuals: Min 1Q Median 3Q Max -0.67273 -0.33333 -0.07273 0.34545 0.68182 Coefficients: Estimate Std. Error t value Pr(|t|) (Intercept) 9.12121 0.47708 19.12 5.8e-08 *** A$x 0.22303 0.01063 20.97 2.8e-08 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.483 on 8 degrees of freedom Multiple R-squared: 0.9821, Adjusted R-squared: 0.9799 F-statistic: 439.8 on 1 and 8 DF, p-value: 2.805e-08 point - data.frame(A$x==42) lm.pred - predict(lm.reg, point, interval ="prediction" , level = 0.95) 预测理想回归曲线（ fit ），及其 0.05 误差上限（ upr ）、下限（ lwr ）上得代表点 lm.pred 显示预测点 fit lwr upr 1 13.58182 12.28997 14.87367 2 14.69697 13.45254 15.94140 3 15.81212 14.60448 17.01976 4 16.92727 15.74480 18.10975 5 18.04242 16.87273 19.21212 6 19.15758 17.98788 20.32727 7 20.27273 19.09025 21.45520 8 21.38788 20.18024 22.59552 9 22.50303 21.25860 23.74746 10 23.61818 22.32633 24.91003 结果值为输入数据 x 对应的理想 y 值原始的回归曲线图，斜率一致

个人分类: 我的研究|14431 次阅读|0 个评论

如何使用origin 8 做作复合线性回归

Bearjazz 2011-11-15 10:44

如何使用 origin 8 做作复合线性回归熊荣川中国科学院成都生物研究所六盘水师范学院生命科学系 xiongrongchuan@126.com 线性回归是在相关性研究中经常用到的手段， origin 作为一个强大的统计分析软件当然不会漏掉这个功能。然后，在实际科研中，我们往往要对数据进行一些不同的分组，以找到更为明显的相关性，比如同时对所有数据和其中的部分数据进行线性回归，也即在同一张图上作出两个基于不同数据点的回归曲线。下面我们将通过实例操作，一步步展示详细步骤。为了图文并茂，请下载 pdf 文件阅读。如何使用origin 8 做作复合线性回归.pdf

个人分类: 我的研究|8597 次阅读|0 个评论

[转载]MATLAB 线性回归

jroy 2011-1-11 21:45

二、一元线性回归 2 ． 1 ．命令 polyfit 最小二乘多项式拟合 =polyfit （ x ， y ， m ）多项式 y=a1xm+a2xm-1+ … +amx+am+1 其中 x= （ x1 ， x2 ，…， xm ） x1…xm 为（ n*1 ）的矩阵 ; y 为（ n*1 ）的矩阵； p= （ a1 ， a2 ，…， am+1 ）是多项式 y=a1xm+a2xm-1+ … +amx+am+1 的系数； S 是一个矩阵，用来估计预测误差 . 2 ． 2 ．命令 polyval 多项式函数的预测值 Y=polyval （ p ， x ）求 polyfit 所得的回归多项式在 x 处的预测值 Y ； p 是 polyfit 函数的返回值； x 和 polyfit 函数的 x 值相同。 2 ． 3 ．命令 polyconf 残差个案次序图 =polyconf （ p ， x ， S ， alpha ）求 polyfit 所得的回归多项式在 x 处的预测值 Y 及预测值的显著性为 1-alpha 的置信区间 DELTA ； alpha 缺省时为 0.05 。 p 是 polyfit 函数的返回值； x 和 polyfit 函数的 x 值相同； S 和 polyfit 函数的 S 值相同。 2 ． 4 命令 polytool （ x ， y ， m ）一元多项式回归命令 2 ． 5 ．命令 regress 多元线性回归（可用于一元线性回归） b=regress( Y, X ) =regress(Y,X,alpha) b 回归系数 bint 回归系数的区间估计 r 残差 rint 残差置信区间 stats 用于检验回归模型的统计量，有三个数值：相关系数 R 2 、 F 值、与 F 对应的概率 p, 相关系数 R 2 越接近 1 ，说明回归方程越显著； F F1- α（ k ， n-k-1 ）时拒绝 H 0 ， F 越大，说明回归方程越显著；与 F 对应的概率 p 时拒绝 H 0 ，回归模型成立。 Y 为 n*1 的矩阵； X 为（ ones(n,1),x1,…,xm ）的矩阵； alpha 显著性水平（缺省时为 0.05 ）。三、多元线性回归 3 ． 1 ．命令 regress （见 2 。 5 ） 3 ． 2 ．命令 rstool 多元二项式回归命令： rstool （ x ， y ，’ model ’ , alpha ） x 为 n*m 矩阵 y 为 n 维列向量 model 由下列 4 个模型中选择 1 个（用字符串输入，缺省时为线性模型）： linear （线性）： purequadratic （纯二次）： interaction （交叉）： quadratic （完全二次）： alpha 显著性水平（缺省时为 0.05 ）返回值 beta 系数返回值 rmse 剩余标准差返回值 residuals 残差四、非线性回归 4 ． 1 ．命令 nlinfit =nlinfit(X,Y,’’model’,beta0) X 为 n*m 矩阵 Y 为 n 维列向量 model 为自定义函数 beta0 为估计的模型系数 beta 为回归系数 R 为残差 J 4 ． 2 ．命令 nlintool nlintool(X,Y,’model’,beta0,alpha) X 为 n*m 矩阵 Y 为 n 维列向量 model 为自定义函数 beta0 为估计的模型系数 alpha 显著性水平（缺省时为 0.05 ） 4 ． 3 ．命令 nlparci betaci=nlparci(beta,R,J) beta 为回归系数 R 为残差 J 返回值为回归系数 beta 的置信区间 4 ． 4 ．命令 nlpredci =nlpredci(‘model’,X,beta,R,J) Y 为预测值 DELTA 为预测值的显著性为 1-alpha 的置信区间； alpha 缺省时为 0.05 。 X 为 n*m 矩阵 model 为自定义函数 beta 为回归系数 R 为残差 J

个人分类: Matlab|25237 次阅读|0 个评论

线性回归中的截距

agri521 2010-8-8 13:42

一般线性回归看似简单，有时并非想像中那么简单。你会发现，无截距线性回归的R 2 和F值总是高于有截距线性回归，换种说法，同一数据集，使用无截距线性回归的拟合度均高于截距线性回归。但是，无截距拟合直线的误差平方和却高于截距拟合直接。也就是说，无截距直线的拟合度高，误差反而高。如何会出现这种情况？问题的关键在于平方和计算方法。这些解释可以参考下面的网页，笔者在这里不详述。 Why are R 2 and F so large for models without a constant? 从上面可知，线性回归是否保留截距主要取决于本学科专业知识，而非纯粹统计知识。但有时候，回归模型是数据驱动的或纯经验性的，这时是否保留截距就不好确定。从这里也获得一条信息，决定系数不是表示拟合度的最佳指标，有时会欺骗我们。在考虑决定系数的同时，再看看RMSE、残差等指标来判断拟合度可能更好点。

个人分类: 统计计算|19550 次阅读|0 个评论

简单理解线性回归的修正效应

limx54 2010-3-9 00:02

线性回归模型通常用来分析两（或多）个变数之间的相互依赖关系，以及评价它们的相互预测性能。不过在统计分析上，它还有一个重要的用途就是矫正数据。生活中常见的一个例子：体重150斤的男子，如果身高只有150厘米，我们往往会说他胖;如果他有185厘米，我们一般不认为他胖。所以在评判一个人是否过重的时候，我们潜意识地用身高对其体重进行了修正，胖瘦的定论是基于矫正后的体重来下的。这个修正可以用线性回归模型来描述。为了加深直观理解，我们可以看个例子。已知一组女性身高和体重的观察数据（如下表）：身高（厘米） 152 156 158 162 164 166 168 170 172 176 体重（市斤） 92 94 98 100 102 104 110 116 114 120 通过回归分析，可以建立身高和体重的关系：体重 (y) = 1.2382 身高 (x) - 98.567; 决定系数高达 94.7% 。可知体重和身高有很强的相关性。那如何得到用身高矫正后的体重呢？基本思想就是做个假设。假如这个人的身高达到平均水平，那它的体重应该几何？很简单，如果他（她）太高，就去掉那段因身高过高而增加的体重。反之，则补上。所以，矫正后的体重就等于原体重减去因高于平均身高相当的那段重量。也即：矫正后的体重 = 原体重－回归系数（ 1.2382 ）（原身高－平均身高）。通过下图我们就可以看出矫正的效果。例如，第一个人尽管她的实际体重只有 92 市斤，可是她的矫正后体重却有 107 市斤，这样看来她应该不是很瘦弱的。（从图中总结一句：多了就减去，少了就补上 ! 不难理解吧，呵呵！）当有多个变量时，道理也是一样的。这就是协方差分析的基本原理（详见： http://en.wikipedia.org/wiki/Analysis_of_covariance 或者一个中文例子分析 http://www.stathome.cn/html/SPSS/SPSS10/2009/0528/95.html ）。当然，评判胖瘦有专门的身体质量指数（ BMI ），该例子主要是出于讲解方便的目的，而非指我们要如此来决定一个人是否超重。

个人分类: 统计学习|13956 次阅读|0 个评论

帐号		自动登录	找回密码
密码			注册

关闭安全验证

标签: 线性回归

相关帖子

相关日志

关闭 安全验证

标签: 线性回归

相关帖子

相关日志

关闭安全验证