MuZero 是由 DeepMind 團隊提出的一種無模型強化學習算法，它能夠在不了解環境動力學的情況下實現高效的強化學習。該算法的核心在於學習一個隱式的環境模型，通過這個模型預測未來的狀態、獎勵和遊戲終止情況，從而進行有效的規劃和決策。MuZero 結合了蒙特卡洛樹搜尋（MCTS）來進行決策，通過自我對弈生成訓練數據，並通過這些數據訓練神經網路。
MuZero 的隱式環境模型是通過神經網路實現的，包括表示函式、動態函式和價值函式。表示函式用於將觀察到的狀態映射到一個隱藏狀態，動態函式用於預測在隱藏狀態下採取動作後的下一個隱藏狀態，價值函式用於評估隱藏狀態的價值。MCTS 是一種用於解決大規模搜尋空間問題的算法，在 MuZero 中用於自我對弈生成訓練數據，並通過這些數據訓練神經網路。
MuZero 的策略網路 p(s, a) 估計在狀態 s 時所有可能的動作 a 的分布，值網路 v(s) 估計在當前狀態 s 下獲勝的可能性。這兩個估計結合起來可以得到更好的結果。MuZero 使用 MCTS 匯總神經網路預測並選擇適合當前環境的動作，通過模擬從樹的根節點出發，預測接下來若乾步的策略、價值函式以及獎勵。
MuZero 的模型由以下三個相互連線的部分組成：表示編碼器，從歷史觀測轉換為初始狀態；動態模型，產生即時獎勵和新的隱藏狀態；價值預測網路，對隱藏狀態上的策略進行預測。通過確保價值等價，即從相同的真實狀態開始，通過抽象 MDP 的軌跡的累積報酬與真實環境中軌跡的累積報酬相匹配，保證抽象 MDP 中的規劃與真實環境中的規劃等價。