DeepFM
FNN把FM的训练结果作为初始化权重,并没有对神经网络的结构进行调整,而2017年由哈尔滨工业大学和华为公司联合提出的DeepFM则将FM的模型结构与Wide&Deep模型进行了整合,其模型结构图下图所示。
DeepFM对Wide&Deep的改进之处在于,它用FM替代了原来的Wide部分,加强了浅层网络部分特征组合的能力。如上图所示,左边的FM部分与右边的深度神经网络部分共享相同的Embedding层。左边的FM部分对不同的特征域的Embedding进行了两两交叉,也就是将Embedding向量当作FM中的特征隐向量。最后将FM的输出与Deep部分的输出一同输入最后的输出层,参与最后的目标拟合。
与Wide&Deep模型相比,DeepFM模型的改进之处主要是针对Wide&Deep模型的Wide部分不具备自动的特征组合能力的缺陷进行的。这里的改进动机与Deep&Cross模型的完全一致,唯一的不同就在于Deep&Cross模型利用多层Cross网络进行特征组合,而DeepFM模型利用FM进行特征组合。当然,具体的应用效果还需要实验进行比较。