矩阵有关梳理(待续)

目录 DM

在深度学习横行的今天,思考传统机器学习、数据挖掘有关的思想、流派和方法论,具有很实际的意义。

矩阵,在大多数问题中,都是二维数组。行表示item,对应列表示item的feature。从压缩感知开始,矩阵有关的方法开始井喷:基于低秩分解、稀疏表征的方法层出不穷,在图像处理上取得了非常卓越的效果,直到近年才被深度学习的有关算法超越;而NMF的分解形式早已有,近些年原理上的创新较少,多数工作还是在应用层面。

基于矩阵的方法优势在于,可以加各种形式的约束来达到想要的效果(好坏又是另一回事了⊙﹏⊙)。只要是非凸的优化函数,都比较好解,对非凸问题,在众多大牛的努力下,现在也有非常多的求解框架。劣势在于,矩阵有关的算法在线性问题上可以取得较好效果,但并不是很适合非线性问题。因此也有了概率矩阵分解(Probabilistic Matrix Factorization, PMF),在矩阵分解中引入概率,在推荐系统中有较多应用。

目前思考的还是很简单,没有加引用文献,很不学术。挖了个坑,慢慢填咯~

【组会】从稀疏表征到低秩表征

目录 DM

稀疏性(sparse)与低秩性(low-rank)是矩阵最重要的两个性质,数学家在研究矩阵分解 (Matrix Decomposition, Matrix Factorization, Matrix Completion)的过程中,从最开始的纯数学上的分解(如 SVD, NMF),终于发展到从矩阵自身性质的角度考虑,产生了稀疏分解与低秩分解两个流派。一般情况下,矩阵不会同时具有稀疏性与低秩性,但注意到在矩阵分解中,分解出的矩阵不止一个,因此…