回火過程中鋼的硬度下降是由於幾個因素共同作用的結果。首先，回火時高溫下形成的奧氏體晶粒變大，導致一定數量的低碳飽和奧氏體和變形產生的高應力，這些因素綜合作用使得硬度降低。其次，淬火後碳原子固溶在基體組織中，原子排列緊密，而回火時碳化物重新析出，原子排列不再緊密，因此硬度下降。回火溫度越高，碳原子越活潑，析出也越容易，硬度隨之降低。
低溫回火對材料硬度的影響表現在，低溫回火可以提高材料的韌性，但會降低材料的硬度。低溫回火通常在200℃以下進行，可以釋放材料內部的殘餘應力，提高抗衝擊性。然而，低溫回火會導致材料中的碳重新溶入晶界中，改變晶界的化學成分，使得晶粒粗細度和晶胞尺寸變大，從而影響晶體的變形行為，導致硬度的降低。
馬氏體主要由高碳組成，低溫回火時馬氏體會發生正方度下降，有微細薄片的碳化物析出，即碳逐漸從馬氏體中脫溶，削弱了固溶強化的效應，因此硬度會有所降低。
總的來說，回火過程中由於碳化物的析出、奧氏體晶粒的長大以及原子排列的變化等因素，使得鋼的硬度下降。