TRPO (Trust Region Policy Optimization) とは？

1. 少なくとも一度は異なる行動をとる確率： $1 - (1-\alpha)^t$ 時間ステップ $t$ に到達するまでに「少なくとも一度は方策が異なる行動をとってしまう確率」を計算します。1回のステップで2つの方策が異なる行動をとる確率は最大でも $\alpha$ なので、逆に「同じ行動をとる確率」は少なくとも $1 - \alpha$ となります。そのため、時間ステップ $t$ に到達するまで、すべてのステップで完全に同じ行動を取り続ける確率は、毎ステップの確率を掛け合わせて $(1-\alpha)^t$ 以上になります。 「少なくとも一度は異なる行動をとってしまう確率」は、「すべてのステップで完全に同じ行動をとる確率」の余事象（1から引いた値）となるため、これが最大でも $1 - (1-\alpha)^t$ になるというわけです。裏を返せば、それまで完全に同じ行動をとっていれば、その時点で状態は完全に一致しており、アドバンテージの差は生まれません。

2. 期待アドバンテージの差の最大値： $2 \max_s |\bar{A}(s)|$ 方策が異なる行動を取り、状態遷移の軌跡が分岐した場合、更新前と更新後の方策で行き着く状態にズレが生じます。アルゴリズムの誤差の上限（Lower Bound）を数学的に証明するためには、このズレによって生じるアドバンテージの差が「最も大きくなる最悪のケース」を想定する必要があります。 あらゆる状態 $s$ において、期待アドバンテージ $\bar{A}(s)$ は必ず $-\max_s |\bar{A}(s)| \le \bar{A}(s) \le \max_s |\bar{A}(s)|$ の範囲に収まります。最悪のケースとは、一方が最も期待アドバンテージが高い状態（$+\max_s |\bar{A}(s)|$）に行き着き、もう一方が最も低い状態（$-\max_s |\bar{A}(s)|$）に行き着く状況です。この極端な2地点間の差の最大値は、一番上の値と一番下の値の距離である $2 \max_s |\bar{A}(s)|$ となります。これが、誤差を評価する際の最大振幅として使われている理由です。

3. 全体の誤差の最大値の導出プロセス まず、真の性能 $\eta(\tilde{\pi})$ と近似関数 $L_{\pi}(\tilde{\pi})$ の定義式の差分をとります。

この2つの式の差を計算すると、共通の $\eta(\pi)$ が消去され、状態分布（$\rho_{\tilde{\pi}}$ と $\rho_{\pi}$）の差だけが残ります。ここで $\bar{A}(s) = \sum_a \tilde{\pi}(a|s)A_{\pi}(s,a)$ とすると、次のように変形できます。

状態分布 $\rho(s)$ は、時間ステップ $t=0$ から無限大までの各ステップで状態 $s$ を訪れる確率の割引総和として表せるため、各時間ステップごとの差の総和に分解できます。 ある状態 $s$ での期待アドバンテージ $\bar{A}(s)$ は、行動が異なる確率 $\alpha$ を用いて $|\bar{A}(s)| \le 2\alpha \max_{s,a} |A_{\pi}(s, a)| = 2\alpha\epsilon$ と評価できます。ここで、軌跡が分岐した際に生じる期待アドバンテージの差が最大となるのは、一方が上限値（$+2\alpha\epsilon$）、もう一方が下限値（$-2\alpha\epsilon$）をとる最悪のケースです。したがって、その差の最大値はこの絶対値の2倍である $2(2\alpha\epsilon)$ となります。この最大振幅と、前述の「少なくとも一度は異なる行動をとる確率」を掛け合わせることで、各ステップ $t$ の誤差期待値の上限が $2(2\alpha\epsilon)(1 - (1-\alpha)^t) = 4\epsilon\alpha(1 - (1-\alpha)^t)$ になることが導かれます。

これを時間 $t=0$ から無限大まで、割引率 $\gamma^t$ を掛けて足し合わせたものが全体の誤差の最大値となります。

この式を無限等比級数の和の公式（$\sum_{t=0}^{\infty} r^t = \frac{1}{1-r}$）を利用して展開します。

ここで分母の $(1-\gamma+\gamma\alpha)$ について、$\gamma\alpha \ge 0$ であるため、$(1-\gamma+\gamma\alpha) \ge (1-\gamma)$ となります。したがって、分母を小さく見積もる（分数全体をより大きくする）ことで、次のようにさらにシンプルな形でバウンドされます。

この絶対値を外し、近似関数 $L_{\pi}(\tilde{\pi})$ から誤差の最大値を引く形に変形することで、最終的な目的である「真の性能の保証（Lower Bound）」が得られます。

TVダイバージェンスとKLダイバージェンスの関係 全変動（Total Variation, TV）ダイバージェンス $D_{TV}(p \| q)$ は、2つの確率分布の「最大の差」を表す指標です。本論文では、あらゆる状態における2つの方策間のTVダイバージェンスの最大値を $\alpha$ と定義しています。

情報理論における ピンサーの不等式（Pinsker's inequality） は、このTVダイバージェンスをカルバック・ライブラー（KL）ダイバージェンスで上から抑える以下の定理です。

これをより緩いバウンド（定数係数を $1$ に近似した形）で扱い、両辺を2乗すると次の関係が得られます。

したがって、すべての状態 $s$ において $D_{TV}(\pi(\cdot|s) \| \tilde{\pi}(\cdot|s))^2 \le D_{KL}(\pi(\cdot|s) \| \tilde{\pi}(\cdot|s))$ が成り立ちます。 左辺の最大値である $\alpha^2$ は、右辺の最大値 $D_{KL}^{\max}(\pi, \tilde{\pi}) = \max_s D_{KL}(\pi(\cdot|s) \| \tilde{\pi}(\cdot|s))$ によって上から抑えられるため、最終的に $\alpha^2 \le D_{KL}^{\max}(\pi, \tilde{\pi})$ という変換が可能になります。

Lower Bound の完成 ステップ1の最後に導出した不等式は以下の通りです。

この式の $\alpha^2$ に、ピンサーの不等式から得られた $\alpha^2 \le D_{KL}^{\max}(\pi, \tilde{\pi})$ を代入します。すると、引く値（ペナルティ項）が大きくなるため、不等式の下限はさらに次のようにバウンドされます。

ここで、複雑な係数部分を一つの定数 $C$ にまとめます。

これを代入することで、TRPOの論文で提示されている最もシンプルで美しい最終形態が得られます。

本記事で解説した係数 $C = \frac{4\epsilon\gamma}{(1-\gamma)^2}$ は、TRPO原論文（2015）の主張をそのまま正確に再現したものです。しかし後年、Achiam et al. (2017) による CPO (Constrained Policy Optimization) 論文などにおいて、この境界は $\gamma$ が1に近づくと発散してしまう（縮退する）問題が指摘され、より精密な理論的境界が提案されています。

1. 理論の下限式との関係 先ほど証明した理論上の下限式は以下の通りでした。

理論上は、右辺の式全体を最大化（つまり、$L$ を増やしつつペナルティ $C D_{KL}^{\max}$ を小さくする）すれば真の性能の向上が保証されます。 しかし、このペナルティ方式（ソフト制約）ではステップ幅の調整が困難なため、TRPOでは以下のように2つの変更を加えた「ハード制約」の問題に変形しています。

• ペナルティから制約への変換: $L_{\pi}$ からペナルティを引くのではなく、「KLダイバージェンスを一定の閾値 $\delta$ 以下に抑える」という絶対的な制約（subject to）の枠内で近似関数を最大化する形に置き換えています。
• 最大値から平均値への緩和: すべての状態の最大値 $D_{KL}^{\max}$ を計算するのは非現実的なため、過去の軌跡から計算できる平均KLダイバージェンス $\overline{D}_{KL}$ に緩和しています。

2. 理論式からサロゲート目的関数（期待値）への変形 理論式 $L_{\pi}(\tilde{\pi})$ を、手元のデータ（古い方策のデータ）を使ってニューラルネットワークで計算できるように、不要な定数を省き、重要度サンプリングのテクニックを使って期待値に変形したものがサロゲート目的関数 $L_{\theta_{old}}(\theta)$ になります。その変換は以下の3ステップで行われます。

ステップ1：定数項の除外 まず、理論式である $L_{\pi}(\tilde{\pi})$ は以下の形をしています。

ここで、新しい方策 $\tilde{\pi}$ を学習（最適化）してこの値を最大化したいと考えたとき、右辺の第一項 $\eta(\pi)$ （古い方策の期待収益）は単なる固定された定数です。そのため、最大化問題を解く上では無視して構いません。したがって、実質的に最大化すべきは後半のシグマ（$\sum$）の部分になります。

ステップ2：和（$\sum$）から期待値（$\mathbb{E}$）と「重要度比」への変換 次に、後半のシグマの部分を考えます。

強化学習では、すべての状態や行動を網羅してシグマ（合計）を計算することは不可能なため、実際にプレイして集めたサンプルの「平均（期待値 $\mathbb{E}$）」で近似します。

• 状態 $s$ について: 古い方策で集めた状態の出現確率 $\rho_{\pi}(s)$ に従うので、そのまま期待値 $\mathbb{E}_{s \sim \rho_{\pi}}$ に直せます。
• 行動 $a$ について: ここが最大のポイントです。式の中には新しい方策の確率 $\tilde{\pi}(a|s)$ がありますが、手元にあるデータは古い方策 $\pi$ でプレイして集めた行動データです。そこで、古い方策の確率 $\pi(a|s)$ を分母と分子に掛けて（割って掛けて）、無理やり式を変形します。

すると、$\sum_{a}\pi(a|s) \dots$ の部分は「古い方策で行動を選んだときの期待値 $\mathbb{E}_{a \sim \pi}$」になり、カッコの中身が重要度比（$\frac{\text{新しい方策}}{\text{古い方策}}$）として残ります。これらをまとめると、シグマの式は次のような期待値の式に完全に書き換えることができます。

ステップ3：表記の置き換え 最後に、文字の表記を「プログラムのパラメータ $\theta$」を主語にした形に置き換えます。

• 古い方策 $\pi \Rightarrow$ パラメータ更新前の方策 $\pi_{\theta_{old}}$
• 新しい方策 $\tilde{\pi} \Rightarrow$ パラメータ更新後の方策 $\pi_{\theta}$

これを先ほどの期待値の式に当てはめると、最終的な目的関数と完全に一致します。

この重要度比 $\frac{\pi_\theta(a|s)}{\pi_{\theta_{old}}(a|s)}$ を用いることで、古い方策でサンプリングしたデータ（状態と行動）をそのまま使って、新しい方策での期待リターンを近似計算（Off-policyな評価）することができます。これが、TRPOのスクラッチ実装で実際に勾配を計算する際の核となる数式です。

元の最適化問題は以下の通りです。

• 最大化: $L_{\theta_{old}}(\theta)$
• 制約条件: $\overline{D}_{KL}^{\rho_{old}}(\theta_{old},\theta) \le \delta$

巨大なニューラルネットワークにおいて、この非線形な目的関数と制約条件を直接解くことは非常に困難です。そこでTRPOでは、更新前のパラメータ $\theta_{old}$ の周辺でテイラー展開を用いて近似を行い、問題を扱いやすくします。

1. 目的関数の線形近似（勾配 $g$） まず、目的関数 $L(\theta)$ を $\theta_{old}$ の周りで1次のテイラー展開（線形近似）します。 $L(\theta) \approx L(\theta_{old}) + \nabla_{\theta} L(\theta_{old})^T (\theta - \theta_{old})$ ここで、目的関数の勾配を $g = \nabla_\theta L(\theta_{old})$、パラメータの更新量（探索方向）を $s = \theta - \theta_{old}$ と置くと、次のようにシンプルに表せます。 $L(\theta) \approx L(\theta_{old}) + g^T s$ $L(\theta_{old})$ は定数であるため、目的関数を最大化するということは、実質的に $g^T s$ を最大化することと同義になります。

2. KL制約の二次近似（フィッシャー情報行列 $H$） 次に、KLダイバージェンスの制約を $\theta_{old}$ の周りで2次のテイラー展開（二次近似）します。式に書き出すと以下のようになります。

この式の各項は次のように評価されます。

• 0次項: 全く同じ分布同士のKLダイバージェンスは0になるため、$D_{KL}(\theta_{old}, \theta_{old}) = 0$ です。
• 1次項: KLダイバージェンスは常に $D_{KL} \ge 0$ の値をとり、$\theta = \theta_{old}$ で最小値0をとります。最小値（極値）をとる点での微分は0になるため、1階微分（勾配）も0ベクトルになります（式の $T$ は転置を表します）。
• 2次項: KLダイバージェンスの2階微分（ヘッシアン）は、情報幾何学において「フィッシャー情報行列 $H$（原論文のAppendix Cでは $A$ と表記）」と一致することが知られています。これはKLダイバージェンスの定義式から以下のように導出されます。 $$\begin{aligned} D_{KL}(\theta_{old}, \theta) &= \mathbb{E}_{x \sim P_{\theta_{old}}} \left[ \log P_{\theta_{old}}(x) - \log P_{\theta}(x) \right] \\ \nabla_{\theta}^2 D_{KL}(\theta_{old}, \theta) &= \mathbb{E}_{x \sim P_{\theta_{old}}} \left[ -\nabla_{\theta}^2 \log P_{\theta}(x) \right] \end{aligned}$$ これを $\theta = \theta_{old}$ で評価した値 $\mathbb{E}_{x} [ -\nabla_{\theta}^2 \log P_{\theta_{old}}(x) ]$ は、対数尤度のヘッシアンの期待値の符号反転であり、まさに統計学におけるフィッシャー情報行列 $H$ の定義そのものとなります。

これらを踏まえると、0次項と1次項が完全に消去されるため、KLダイバージェンス制約は2次項のみが残り、次のようにシンプルな二次形式で近似されます。 $D_{KL}(\theta_{old}, \theta) \approx \frac{1}{2} (\theta - \theta_{old})^T H (\theta - \theta_{old}) = \frac{1}{2} s^T H s \le \delta$

3. 近似された最適化問題と方程式 $Hs = g$ の関係 上記の2つの近似により元の複雑な問題は次のような数学的に解きやすい問題に書き換わります。

• 最大化: $g^T s$
• 制約条件: $\frac{1}{2} s^T H s \le \delta$

この制約付き最適化問題は、ラグランジュの未定乗数法 を用いて解析的に解くことができます。 ラグランジュの未定乗数法とは、制約条件（ここでは $\frac{1}{2}s^T H s = \delta$）の境界線上において、目的関数（$g^T s$）を最大化する値を求める数学的手法です。未定の係数（ラグランジュ乗数 $\lambda > 0$）を制約式に掛け、目的関数に組み込むことで新しい関数（ラグランジュ関数 $\mathcal{L}$）を作ります。

この関数が最大値をとる条件は、$s$ で偏微分した結果が0ベクトルになることです。

この式を $s$ について整理すると、以下のようになります。

ここで $\lambda$ は単なるスカラー（定数）であるため、最適な探索方向 $s$ はベクトル $H^{-1}g$ と全く同じ方向（比例関係）になることが数学的に証明されます。 つまり、方程式 $Hs = g$ を解いて求めた方向 $s \approx H^{-1}g$ に進むこと自体が、この制約付き最適化問題における「最も効率よく目的関数を最大化できる方向（自然勾配）」を求めていることに直結しているのです。

共役勾配法（CG法）は、正定値対称行列を係数とする大規模な連立一次方程式 $Hs = g$ を高速に解くための反復法です。 単純な勾配降下法で方程式を解こうとすると、目的関数の等高線が楕円形に歪んでいる場合にジグザグと無駄な探索を繰り返し、収束が著しく遅くなる問題があります。CG法は、行列 $H$ に対して「共役（互いに独立・非干渉）」という特別な直交性を持つ探索方向を次々と生成することで、一度探索した成分のロスを再発させることなく効率的に最適解へと向かいます。理論上はパラメータ次元数以下の反復で厳密解に到達しますが、TRPOでは通常10回程度の少ない反復で打ち切り、計算コストを抑えつつ実用的な近似解 $s \approx H^{-1}g$ を得ます。 また最大の利点として、アルゴリズムの計算過程で必要になるのは「行列 $H$ とベクトル $p$ の掛け算（$Hp$）」の演算結果だけであり、巨大な行列 $H$ の全成分や逆行列 $H^{-1}$ を直接メモリに展開・計算する必要が一切ありません。

さらに詳しい仕組みや、最急降下法との探索軌跡の視覚的な比較については、共役勾配法（CG）とは？ をご覧ください。

フィッシャー・ベクトル積（FVP）は、巨大なヘッシアン（フィッシャー情報行列 $H$）を直接計算・保持することなく、任意のベクトル $v$ との掛け算 $Hv$ の結果だけを極めて効率的に取得するテクニックです。 ニューラルネットワークにおいて、パラメータ数が $N$ の場合、行列 $H$ は $N \times N$ の巨大なサイズになり、計算もメモリ保持も不可能になります。しかし、PyTorchなどの自動微分フレームワークが持つ性質（Hessian-vector product）を利用すると、「KLダイバージェンスの勾配（1階微分）とベクトル $v$ の内積」を計算し、そのスカラー値をさらにもう一度微分（二重逆伝播）することで、行列 $H$ を一度もメモリ上に構築することなく直接 $Hv$ のベクトルを得ることができます。 前述の共役勾配法は「行列とベクトルの掛け算」さえできれば方程式を解けるため、このFVPの手法と組み合わせることで、巨大なモデルであってもメモリをほとんど消費せずにTRPOの最適化を完了できるという、非常にエレガントな仕組みになっています。

フィッシャー情報行列自体の概念や、なぜそれが「確率分布の曲率」となるのか等については、フィッシャー情報行列（Fisher Information Matrix）とは？ の記事で詳しく解説しています。

直線探索（とりわけTRPOで用いられる後退代入法：Backtracking Line Search）は、近似計算によって導き出した「理論上の最大歩幅」が、実際の非線形な関数においても本当に安全かどうかを確認し、必要に応じて歩幅を縮めるプロセスです。 共役勾配法で求めた探索方向 $s$ と、二次近似から解析的に求めた最大歩幅 $\beta$ を掛け合わせたパラメータ更新量 $\beta s$ は、あくまで「KL制約が綺麗な二次関数である」という仮定（近似）に基づいた値です。そのため、実際にその分だけパラメータを大きく動かすと、テイラー展開の近似誤差によって実際のKLダイバージェンスが閾値 $\delta$ を超過してしまったり、目的関数が逆に悪化してしまう危険性があります。 これを防ぐため、TRPOではまず最大の歩幅 $\beta s$ でパラメータの更新を仮実行し、その状態での「実際のKLダイバージェンス」と「実際の目的関数の変化」を評価します。もし制約を満たさなかったり性能が悪化している場合は、歩幅を一定割合（例：0.5倍など）に縮めて（後退して）再度評価を繰り返します。両方の条件をクリアする安全な歩幅が見つかった時点で初めて更新を確定させるため、TRPOは「方策の崖落ち（崩壊）」を極めて強固に防ぐことができるのです。

直線探索のより一般的な概念や、Armijo条件を用いた後退代入法のPythonによる視覚的なシミュレーションについては、直線探索（Line Search）とは？ の記事をご覧ください。

原論文のAppendix Cに記載されている通り、TRPOはこの理論をもとに以下の手順で最適化を実行します。

• 探索方向の決定: 巨大な行列 $H$ の逆行列を直接計算するのは不可能なため、共役勾配法（Conjugate Gradient）を使って $Hs = g$ を近似的に解き、探索方向 $s$ を求めます。
• 最大ステップ幅の計算: 得られた方向 $s$ に沿ってどれだけ進むか（ステップ幅 $\beta$）を決定します。近似したKL制約の方程式 $\frac{1}{2} (\beta s)^T H (\beta s) = \delta$ を解くことで、最大歩幅は $\beta = \sqrt{2\delta / (s^T H s)}$ として解析的に求まります。
• 直線探索（Line Search）: ここまで用いた線形近似と二次近似は、あくまで $\theta_{old}$ の「ごく近傍」でしか成り立ちません。近似誤差によって実際の非線形なKL制約を破ってしまったり、目的関数が悪化したりするのを防ぐため、求めた最大歩幅から少しずつ後退しながら（直線探索）、真の制約条件を満たす安全な更新幅を見つけます。

要約すると、「線形近似」と「二次近似」は、そのままでは計算不可能な元の最適化問題を、解析的に解ける（共役勾配法に落とし込め）形に変換するための数学的な橋渡しとして機能しています。