科学网 › 标签 › 非负矩阵分解

标签: 非负矩阵分解

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

非负矩阵分解的算法_2012/11/11: Mervey 2012-11-10 21:50; Algorithms For Non-negative Matrix Factorization 本文主要的贡献是1）给出了两种迭代求解非负矩阵分解的算法；2）给出了一种求解最小值的辅助函数。 1.两种计算非负矩阵分解（$ V\approx WH $）的算法 1.1 以欧式距离($\left \| V-WH \right \|$)作为代价测量的迭代规则 $H_{a\mu }\leftarrow H_{a\mu }\frac{(W^TV)_{a\mu}}{(W^TWH)_{a\mu}}$ $W_{ia }\leftarrow W_{ia}\frac{(VH^T)_{ia}}{(WHH^T)_{ia}}$ 1.2 以散度（$D(V\left | \right |WH) =\sum_{ij}(V_{ij}\log\frac{V_{ij}}{(WH)_{ij}}-V_{ij}+(WH)_{ij})$）作为代价测量的迭代规则 $H_{a\mu}\leftarrow H_{a\mu}\frac{\sum_{i}W_{ia}V_{i\mu}/(WH)_{i\mu}}{\sum_{k}W_{ka}}$ $W_{ia}\leftarrow W_{ia}\frac{\sum_{\mu}H_{a\mu}V_{i\mu}/(WH)_{i\mu}}{\sum_{\nu }H_{a\nu}}$ 2.一种辅助函数的定义如果$G(h,h')$满足$G(h,h')\geq F(h),G(h',h')=F(h')$时，称G是F的一种辅助函数。F在以$h^{t+1}=\arg \min_h G(h,h^t)$迭代规则下是非递增的。下面我用图简单展示。从图中可以看出$F(h^{t+1})\leq G(h^{t+1},h^t)\leq G(h^{t},h^t)=F(h^t)$，依次迭代可以求出$F(h_{min})$ . 在应用过程中我们只需要结合要证明的内容凑出所需的辅助函数即可。此辅助函数还可用于证明上面给出的迭代算法的正确性，也可证明收敛性等等，在应用过程中需要灵活掌握其思想。原文： 2001_NIPS_Algorithms for non-negative matrix factorization.pdf; 4436 次阅读|0 个评论

带有稀疏约束的非负矩阵分解_2012/10/20: Mervey 2012-10-20 19:37; Non-negative Matrix Facorization with Sparseness Constraints 1.单词 latent 潜在的，隐藏的； explicit 明确的，清楚的； substraction 减法，差集； interpret 说明，解释； unary 一元的； side-effect 副作用； qualitatively 定性地，从质量上； warrant n.证明，正当理由；v.保证，担保，批准，辩解； absense 不存在，缺席； hinder 阻碍，后面的； alleviate 减轻，缓和； verify 核实，证明； coefficient 系数，coefficient vector 系数向量； convex 凸的； deverse不同的，各种各样的； quantify 量化，为...定量； pack into 挤进，塞进； to date 至今，迄今为止； transpose 颠倒顺序，转置； signify 表示，意味； subsequently 随后，其后； quadratic equation 二次方程式； sphere 范围，球体； quandrant 象限； trail and error 反复试验，尝试错误法； 2.内容总结 2.1 对非负矩阵分解的解释非负矩阵分解是一个线性的，非负的近似数据表示。假设数据包含T个N维非负标量的测量值。测量向量$\mathbf{v}_{t}(t=1,...,T)$，它的一个近似可以由下面公式给出： $\mathbf{v}_{t}\approx \sum_{i=1}^{M}\mathbf{w}_{i}h_{it}=\mathbf{W}\mathbf{h}_{t}$，其中$\mathbf{W}$是一个包含基向量$\mathbf{w}_{i}$作为它列的$N\times M$矩阵。注意到每一个测量向量都是用同一组基向量来表示。M个基向量$\mathbf{w}_{i}$可以认为是数据的“砖”，系数向量$\mathbf{h}_{t}$描述了在测量向量$\mathbf{v}_{t}$中每一块“砖”的强度。将测量矩阵$\mathbf{v}_{t}$作为$N \times T$矩阵$\mathbf{V}$的列，我们可以写成： $\mathbf{V}\approx \mathbf{W}\mathbf{H}$，其中$\mathbf{H}$每一列是对应于$\mathbf{v}_{t}$的系数向量$\mathbf{w}_{t}$。写成这种形式，很清楚地看出来是一个简单的矩阵分解数据表示。PCA，ICA，NMF都可以看作是带有不同目标函数或者约束的矩阵分解。 2.2 稀疏度稀疏度一般是指数据中0所占的比例大小。下面给出一种稀疏度测量方法： \ 其中n是$\mathbf{x}$的维度。这个函数只有当$\mathbf{x}$只包含一个非0成分时才为1，只有当所有成分都含有相等值的时候才为0，其他时候介于两者之间。 2.3 带有稀疏约束的NMF 很多时候很多应用需要明确地控制矩阵分解的稀疏性，这就需要我们找到一种控制稀疏度的解决方案。那么怎么控制呢？是控制$\mathbf{W}$还是$\mathbf{H}$呢？这需要依赖具体问题具体分析，我们在解决中可以颠倒两个矩阵的角色来确定约束哪个矩阵或者两个都约束。下面我们给出一个带有稀疏约束NMF的定义：定义：带有稀疏约束NMF 给定$N \times T$大小的非负矩阵$\mathbf{V}$，分别找到$N\times M$和$M \times T$的矩阵$\mathbf{W}$和$\mathbf{H}$，使得 \ 在可选约束下最小， \ \ 其中$S_{w}$,$S_{h}$分别是$\mathbf{W}$和$\mathbf{H}$的稀疏度，由用户给出。 2.4 带稀疏NMF计算算法下面给出计算带稀疏约束NMF的算法：上面算法中很多步骤用到映射（project）操作，下面如下定义它：最后给出原文： 2004_Non-negative Matrix Factorization with Sparseness Constraints.pdf; 8720 次阅读|0 个评论

非负矩阵分解模型的费用函数: 大繁至简: 热度 1 shamolvzhou79 2011-11-5 21:43; 非负矩阵分解 (Nonnegative Matrix Factorization, NMF, ) 已经成为数据挖掘领域中最流行的模型之一 , 该模型在无监督学习领域中具有良好的数值表现 . 该模型可以被归结为一个非线性规划问题 , 通过最优化一个费用函数来达到发现数据背后隐含结构的目的 , 而选取不同的费用函数会导致不同的数值结果 . 最近 , 在文献中提出了多种不同的费用函数或者费用函数族 , 包括 Least squares error ( ), K-L divergence( ), phi-divergence ( ), alpha-divergence ( ), Bregman divergence ( ), beta-divergence ( ) 和 IS-divergence ( ) 等 . 但是文献中仍缺乏一个系统的比较来说明哪些费用函数适合哪些具体的应用问题 . 我们针对这个问题进行了实证研究 . 我们的实验结果显示 , 形式最简单的最小二乘方 (Least squares error) 和 K-L divergence 两种费用函数的数值表现是最好的 , 真是应了那句话 : 大繁至简 . 具体来说 , 我们总结了不同费用函数和费用函数族之间相互的包含关系 ; 我们使用了六种类型的人工数据来研究使用这些费用函数的 NMF 发现数据背后隐含结构的能力 ; 我们还研究了基因表达数据聚类问题 , 图像聚类和压缩问题 , 盲源信号分解问题中 , 这些费用函数的数值行为 , 结果都表明 , 形式复杂的费用函数无论是在人工数据中 , 还是在实际应用中都没有什么特别突出的表现 , 使用形式简单的 LSE 或者 K-L divergence 就可以应付绝大多数实际问题了 . 文章网址: http://www.tandfonline.com/doi/abs/10.1080/03610918.2011.589734#preview 【 1 】 Lee D, Seung H, Learning the parts of objects by nonnegative matrix factorization, Nature, 1999, 401:788-791 【 2 】 Lee D, Seung H, Algorithms for nonnegative matrix factorization, NIPS, 2001: 556-562 【 3 】 Cichocki, A., Zdunek, R., Amari-ichi, S, Csisz á r ’ s divergences for non-negative matrix factorization: family of new algorithms, Berlin: Springer: 32-39. 【 4 】 Cichocki, A., Zdunek, R., Choi, S., Plemmons, R., Amari-ichi, S., Nonnegative tensor factorization using alpha and beta divergences, Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP07): 1393 – 1396 【 5 】 Cichocki, A., Lee, H., Kim, Y. D., Choi, S., Non-negative matrix factorization with alpha-divergence, Pattern Recognition Letters, 29:1433 – 1440 【 6 】 Dhillon, I. S., Sra, S., Generalized non negative matrix approximations with Bregman divergences, NIPS, 2005: 283 – 290 【 7 】 F evotte, C., Bertin, N., Durrieu, J. L., Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis , Neural Comput., 21: 793 -830 .; 6652 次阅读|2 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 非负矩阵分解

相关帖子

相关日志

关闭安全验证