完成了一项有关图分类的研究工作。在这个过程中，我尝试了在 mohiv 数据集上测试效果，并发现在仅利用图结构信息的情况下，我的方法取得了与 GCN 类似的结果，虽然都是排在榜单的最低端。回顾起来，我的方法其实和 GCN 挺像的，只不过我没有采用端到端的训练方式，而是选择了一些更易解释的思路，并简化了很多计算，这使得我的方法更适合处理大规模的问题。
在进行与 GCN 的对比实验时发现，10 折交叉验证，无论如何GCN都无法得到标准差较小的结果。或许这是因为参数太多，随机性太强？也可能是因为我的炼丹水平还不够，虽然知道可以将网络结构参数化，然后利用 sklearn 进行贪心搜索，但这确实是一项非常耗时的工作。最终，我只能找一些开源实现，使用了默认参数进行实验。
如果将神经网络仅作为特征提取器，而将分类任务交给成熟稳定的模型，是否会有更好的效果呢？这又回到了特征工程的思路，在 OGB 榜单上，确实有很多采用这种思路的方法，而且是在榜单的最上方。那么可不可能存在一个共识：对于很多NN方法，调优的成本非常高，在实际应用中，将 NN 作为特征提取器可能比作为分类器更加合适。
以上是我关于这份工作的一些思考。想法有些杂乱。之前做技术性的工作做太多了，我的理论深度还有待加强。
多看看书。
Categories: DM
发表回复