MLR模型是阿里巴巴在2012年提出,並在2017年發表的點擊率預估模型。它通過分段方式對數據進行擬合,與傳統的LR(邏輯回歸)模型相比,MLR能夠學習到更高階的特徵組合。MLR模型的基本表達式為:
[ p(y=1 | x) = g\left(\sum_{j=1}^{m} \sigma\left(u_{j}^{T} x\right) \eta\left(w_{j}^{T} x\right)\right) ]
其中,( g ) 是激活函式,用於將模型結果轉換為所需的格式,如分類問題中的機率。( \sigma ) 和 ( \eta ) 分別是分段函式和擬合函式,它們的參數分別為 ( {u_1, \cdots, u_m} ) 和 ( {w_1, \cdots, w_m} )。這些函式將特徵映射到不同的區域並進行預測,最終將結果求和。MLR模型對於LR模型無法正確分類的數據表現出較好的效果。
MLR模型的一個特例是當 ( \sigma ) 為softmax函式,( \eta ) 為sigmoid函式時,模型表達式可以簡化為:
[ p(y=1 | x) = \frac{\sum_{i=1}^{m} \exp(u_i^T x)}{\sum_{j=1}^{m} \exp(u_j^T x)} \cdot \frac{1}{1 + \exp(-w_i^T x)} ]
MLR模型的目標函式根據不同場景而有所不同,例如在二分類問題中,可以使用交叉熵作為損失函式,並加入L1和L2正則項以保證參數的稀疏性,從而進行特徵選擇。MLR模型的設計在一定程度上體現了早期的attention思想,不同的分片權重相當於對不同區域的LR結果進行加權。