特徵融合算法主要分為特徵級融合和決策級融合，其中特徵級融合也稱為早期融合，是多模態識別系統最常用的策略。它在提取特徵後立即從不同模態提取的特徵連線成單個高維特徵向量的方法。例如，首先得到的文本特徵ftext,音頻特徵faudio和視覺特徵fvisual,然後將三個特徵連線得到融合後的特徵funion，最後輸入MLP和softmax層得到分類結果。然而，特徵融合的局限性在於生成的高維特徵向量，並且由於它以一種直接的方式融合了三種模態特徵，不能對複雜的關係進行建模。
決策級融合則將文本特徵ftext、音頻特徵faudio和視覺特徵fvisual分別輸入各自的MLP和softmax層進行抑鬱症回歸訓練，預測結果分別為ytext,yaudio和yvisual。之後將ytext,yaudio和yvisual進行線性加權求和得到融合結果rf。最後將rf經過softmax層，得到多模態融合的結果。