SAC（Soft Actor-Critic）算法是一種基於最大熵的深度強化學習算法，旨在解決連續動作空間和高維度狀態空間中的強化學習問題。該算法由伯克利和谷歌大腦的研究人員提出，適用於真實世界中的機器人任務學習。SAC算法的主要特點和組成部分包括：
目標函式。SAC的目標函式旨在最大化未來累積獎勵（期望回報）和策略的熵，以平衡探索和利用。目標函式中引入了熵值，使得智慧型體在選擇動作時具有更高的隨機性，從而避免過早收斂到局部最優解，提高探索能力和魯棒性。
神經網路結構。SAC算法包含5個神經網路：策略網路、兩個軟Q網路（Q1和Q2）、軟狀態價值網路（V）和目標狀態價值網路（V_target）。這些網路分別負責學習策略、價值函式和目標價值函式。
探索與利用。通過最大化期望回報來平衡探索和利用。智慧型體通過隨機性（高熵值）來探索環境，同時嘗試利用已知的有效策略。
價值函式與策略函式。SAC算法建立價值函式來評估不同動作的優劣，並建立策略函式來確定採取的動作。通過梯度下降方法更新價值函式，使用梯度上升方法更新策略函式。
算法流程。包括初始化神經網路，收集經驗，更新價值函式和策略函式，選擇動作，以及疊代最佳化這些步驟。
優勢。SAC算法結合了策略最佳化和價值函式學習，實現對連續動作空間的魯棒性採樣最佳化。它是一種off-policy算法，相比之前的算法，顯示出了更高的效率和穩定性。