科学网 › 标签 › 费用函数

标签: 费用函数

相关帖子	版块	作者	回复/查看	最后发表

没有相关内容

相关日志

非负矩阵分解模型的费用函数: 大繁至简: 热度 1 shamolvzhou79 2011-11-5 21:43; 非负矩阵分解 (Nonnegative Matrix Factorization, NMF, ) 已经成为数据挖掘领域中最流行的模型之一 , 该模型在无监督学习领域中具有良好的数值表现 . 该模型可以被归结为一个非线性规划问题 , 通过最优化一个费用函数来达到发现数据背后隐含结构的目的 , 而选取不同的费用函数会导致不同的数值结果 . 最近 , 在文献中提出了多种不同的费用函数或者费用函数族 , 包括 Least squares error ( ), K-L divergence( ), phi-divergence ( ), alpha-divergence ( ), Bregman divergence ( ), beta-divergence ( ) 和 IS-divergence ( ) 等 . 但是文献中仍缺乏一个系统的比较来说明哪些费用函数适合哪些具体的应用问题 . 我们针对这个问题进行了实证研究 . 我们的实验结果显示 , 形式最简单的最小二乘方 (Least squares error) 和 K-L divergence 两种费用函数的数值表现是最好的 , 真是应了那句话 : 大繁至简 . 具体来说 , 我们总结了不同费用函数和费用函数族之间相互的包含关系 ; 我们使用了六种类型的人工数据来研究使用这些费用函数的 NMF 发现数据背后隐含结构的能力 ; 我们还研究了基因表达数据聚类问题 , 图像聚类和压缩问题 , 盲源信号分解问题中 , 这些费用函数的数值行为 , 结果都表明 , 形式复杂的费用函数无论是在人工数据中 , 还是在实际应用中都没有什么特别突出的表现 , 使用形式简单的 LSE 或者 K-L divergence 就可以应付绝大多数实际问题了 . 文章网址: http://www.tandfonline.com/doi/abs/10.1080/03610918.2011.589734#preview 【 1 】 Lee D, Seung H, Learning the parts of objects by nonnegative matrix factorization, Nature, 1999, 401:788-791 【 2 】 Lee D, Seung H, Algorithms for nonnegative matrix factorization, NIPS, 2001: 556-562 【 3 】 Cichocki, A., Zdunek, R., Amari-ichi, S, Csisz á r ’ s divergences for non-negative matrix factorization: family of new algorithms, Berlin: Springer: 32-39. 【 4 】 Cichocki, A., Zdunek, R., Choi, S., Plemmons, R., Amari-ichi, S., Nonnegative tensor factorization using alpha and beta divergences, Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP07): 1393 – 1396 【 5 】 Cichocki, A., Lee, H., Kim, Y. D., Choi, S., Non-negative matrix factorization with alpha-divergence, Pattern Recognition Letters, 29:1433 – 1440 【 6 】 Dhillon, I. S., Sra, S., Generalized non negative matrix approximations with Bregman divergences, NIPS, 2005: 283 – 290 【 7 】 F evotte, C., Bertin, N., Durrieu, J. L., Nonnegative matrix factorization with the Itakura-Saito divergence with application to music analysis , Neural Comput., 21: 793 -830 .; 6652 次阅读|2 个评论

更多...

帐号		自动登录	找回密码
密码			注册

关闭 安全验证

标签: 费用函数

相关帖子

相关日志

关闭安全验证