在深度学习横行的今天,思考传统机器学习、数据挖掘有关的思想、流派和方法论,具有很实际的意义。
矩阵,在大多数问题中,都是二维数组。行表示item,对应列表示item的feature。从压缩感知开始,矩阵有关的方法开始井喷:基于低秩分解、稀疏表征的方法层出不穷,在图像处理上取得了非常卓越的效果,直到近年才被深度学习的有关算法超越;而NMF的分解形式早已有,近些年原理上的创新较少,多数工作还是在应用层面。
基于矩阵的方法优势在于,可以加各种形式的约束来达到想要的效果(好坏又是另一回事了⊙﹏⊙)。只要是非凸的优化函数,都比较好解,对非凸问题,在众多大牛的努力下,现在也有非常多的求解框架。劣势在于,矩阵有关的算法在线性问题上可以取得较好效果,但并不是很适合非线性问题。因此也有了概率矩阵分解(Probabilistic Matrix Factorization, PMF),在矩阵分解中引入概率,在推荐系统中有较多应用。
目前思考的还是很简单,没有加引用文献,很不学术。挖了个坑,慢慢填咯~
Categories: DM