Layer Normalization（簡稱LayerNorm）是一種在深度學習中常用的歸一化技術，主要用於提高神經網路的穩定性和訓練效率。
LayerNorm 的核心作用是對神經網路每一層的輸入或激活值進行歸一化處理，其目的是使這些值的均值為0，方差為1。這樣做的效果如下：
通過減少內部協變數偏移（Internal Covariate Shift，簡稱ICS）。隨著網路層數的增加，每一層的參數更新都可能導致後續層的輸入分布發生變化，這種現象稱為內部協變數偏移。LayerNorm通過歸一化每一層的輸入，減少了層與層之間的輸入分布變化，從而有效緩解了ICS問題。這有助於提高網路訓練的穩定性和速度。
歸一化操作有助於提高模型的泛化能力。通過減少不同樣本之間的差異，LayerNorm使模型對於不同批次和樣本的輸入具有更好的適應性和魯棒性。
與Batch Normalization（簡稱BatchNorm）不同，LayerNorm是在特徵維度（即通道維度）上進行歸一化，而不是在數據批次維度上。這種逐通道的歸一化方式使得LayerNorm特別適用於小批量或單樣本的情況，同時也減少了模型的複雜性和計算量。
此外，一些深度學習框架和庫，如PyTorch或TensorFlow，提供了最佳化的LayerNorm實現，例如「fused_layer_norm_cuda」，這是一種使用CUDA技術的最佳化方法，可以顯著提高LayerNorm的計算效率。