[3.2 状态价值函数和动作价值函数](https://datawhalechina.github.io/joyrl-book/#/ch3/main?id=_32-%e7%8a%b6%e6%80%81%e4%bb%b7%e5%80%bc%e5%87%bd%e6%95%b0%e5%92%8c%e5%8a%a8%e4%bd%9c%e4%bb%b7%e5%80%bc%e5%87%bd%e6%95%b0) $V_{\pi}(s)$的计算有问题,应该是从 $R_{t+1}$ 开始