【割引率⌚】ビジネス、金融への知識にも繋がる！💴将来得られる報酬も含めた合計を最大化するための考え方💭：G検定合格講座 No.93

割引率(discount factor)

強化学習は、エージェントが環境の中で
試行錯誤を繰り返し、報酬を最大化するように
行動を学習する枠組みを指しています📝
この際、エージェントは、現在の行動が
将来にわたってどれほどの価値をもたらすかを
試算し、評価しなければなりません。
ここで活用されるのが、今回の投稿で
学習する「割引率」という考え方です⌛

割引率の定義と直感的理解

強化学習における報酬は
即時的に得られるものだけではありません。
将来得られる報酬も含めた合計を
最大化することが目標となります💫
しかし、遠い未来の報酬は現在の報酬に比べて
不確実性が高く、価値が低いとみなすのが一般的です。
これは金融分野における現在価値の考え方に似ています。

今日受け取る100円と、1年後に受け取る100円では
利息やインフレ、不確実性の観点から
今日の100円の方が価値が高いと判断されます💴
機械学習においても同様に
将来の報酬を一定の割合で割り引くことで
目先の利益と将来の利益のバランスを調整します。

数学的モデルと累積報酬の計算

強化学習における収益、すなわち将来にわたる
累積報酬は、割引率を$${ \gamma }$$（ガンマ）
として定義されます。
この$${ \gamma }$$は通常
$${ 0 \le \gamma \le 1 }$$の範囲の値をとります。
時刻$${ t }$$における即時報酬を$${ r_t }$$としたとき時刻$${ t }$$からの累積報酬（収益）$${ G_t }$$は以下の数式で表されます。

$${\large  G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \dots = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} }$$

この式からわかるように、ステップが進むごとに
割引率$${ \gamma }$$が累積的に掛け合わされます。
例えば、$${ \gamma = 0.9 }$$の場合
1ステップ先の報酬は0.9倍
2ステップ先の報酬は0.81倍
3ステップ先は0.729倍というように
遠い未来ほどその価値は減衰していきます📝

パラメータの値による振る舞いの変化

割引率$${ \gamma }$$の値をどのように設定するかに
よって、エージェントの性格が大きく変わります。
$${ \gamma }$$が0に近い場合
エージェントは即時的な報酬のみを重視する
短視眼的な行動をとるようになります。
これは、極端な例として$${ \gamma = 0 }$$であれば
$${ G_t = r_{t+1} }$$となり、次の瞬間の報酬以外は
一切考慮されません。
一方で$${ \gamma }$$が1に近い場合
エージェントは遠い未来の報酬も現在の報酬と
ほぼ同等に評価するようになり、より長期的な視点で
戦略的な行動を学習するようになります。
ただし、$${ \gamma = 1 }$$を設定する場合
エピソードが終了しないタスクでは収益の合計が
無限大に発散する可能性があるため、収束性の観点から
1未満の値が選ばれることが一般的です。

ベルマン方程式への応用

割引率の概念は、強化学習の核心である
ベルマン方程式の構築に不可欠です。
状態価値関数$${ V(s) }$$は現在の状態$${ s }$$から
得られる期待収益を指しますが、これは
以下のように再帰的に記述できます。

$${  V(s) = E [ r_{t+1} + \gamma V(s_{t+1}) ] }$$

この式は、現在の価値が即時報酬と
次に行き着く状態の価値を$${ \gamma }$$で
割り引いたものの和であることを示しています。
この再帰的な構造により、動的計画法や
Q学習といった手法を用いて最適な行動価値を
効率的に計算することが可能になるのです👍

Q学習における割引率の影響のシミュレーション

理論を理解した後は、具体的なアルゴリズム内での
挙動を確認することが重要です。
次のステップとして、Q学習の更新式における
割引率の役割を具体例で計算してみましょう。

行動価値関数$${ Q(s, a) }$$の更新式は以下の通りです。

$${ \large Q(s, a) \leftarrow Q(s, a) + \alpha [ r + \gamma \max_{a'} Q(s', a') - Q(s, a) ] }$$

ここで、学習率$${ \alpha = 0.1 }$$、割引率$${ \gamma = 0.9 }$$、現在のQ値が0の状態を想定します。
エージェントが行動した結果、報酬$${ r = 10 }$$を
得て、遷移先の状態$${ s' }$$での最大Q値が
$${ \max Q = 20 }$$だった場合、更新される値は
以下のようになります。

$${ \large Q(s, a) \leftarrow 0 + 0.1 \times [ 10 + 0.9 \times 20 - 0 ] }$$
$${ Q(s, a) \leftarrow 0.1 \times [ 10 + 18 ] = 2.8 }$$
もし割引率$${ \gamma }$$が0.1であれば
将来の期待値である18の部分が2にまで低下し
更新後のQ値は1.2となります。
このように割引率は、将来の成功体験を
現在の判断基準にどの程度反映させるかを
制御する重みとしての機能を果たしているのです✨

本日のアウトプットはここまでとします！
割引率とは、強化学習において将来得られる報酬を
現在の価値に換算する際の減衰率であること
を学習しました😊
一般的には、記号$${ \gamma }$$で表され
その値がとる範囲は、0から1の範囲で設定されます。
割引率が、0に近いほど目先の利益を優先し
1に近いほど長期的な利益を重視する
エージェントになることを覚えておきましょう✨
数理的には累積報酬を無限級数として定義し
ベルマン方程式を通じて
価値関数の再帰的な計算を可能にします。
G検定においては、強化学習の収益計算やQ学習の
パラメータとしての意味を問われることが多いため
数式とエージェントの行動傾向の関係性を
把握しておくことが合格への鍵となるでしょう🔏

AIを味方に、DX人材としての自信と
キャリアの可能性をを手に入れるべく
引き続き、G検定合格を目指して
コツコツと学習を進めてまいります🔥
投稿の中で「✅」で示した用語は
試験で問われる可能性が高い重要用語ですので
確実にインプットしておきましょう！

引き続きよろしくお願いいたします！

前回のお復習い📖

復習を大切にして、確実にインプットした
知識を自分の記憶に留めておきましょう！

G検定とは？

G検定を取得するメリット💎

G検定の試験概要💮

• 主催団体: 一般社団法人日本ディープラーニング協会（JDLA）

• 試験形式: オンライン実施（自宅受験）

• 試験時間: 100分　※26年1月試験から変更。

• 出題形式: 知識問題（多肢選択式、約145~150問程度）

• 受験資格: 制限なし（誰でも受験可能）

• 受験料:

  • 一般：13,200円（税込）

  • 学生：5,500円（税込）

  • 再受験割引あり（受験日から2年以内は半額）

• 出題範囲: JDLAが公開しているシラバスに準拠

• 合格ライン: JDLAは公式に合格ラインを発表していませんが、一般的に70%程度の正答率が目安と言われています。

• 合格率: 開催回によって変動しますが、60%～75%程度で推移しています。

詳細な試験範囲：シラバスG2024#6

✅（シラバス）G2024#6～（出所）
技術分野と法令・倫理分野に分かれています！

今後はこちらのシラバスを参考に試験対策に繋がる投稿を作成してまいりますので、乞うご期待ください✨

G検定は、AI、特にディープラーニングに関する基礎知識を幅広く習得し、ビジネスの現場でAIを活用するための第一歩となる資格と言えるでしょう！

受験資格もなく、かつ、オンラインで受験できるため、多くの方が挑戦しやすい資格と言えるのではないでしょうか👍

まずは、試験の合格に向けてしっかりと学習に取り組んでまいります！

おすすめの参考書📚

おすすめマガジンのご紹介🔔

今後、さらにコンテンツを
拡充できるように努めて参りますので
何卒よろしくお願い申し上げます📚

最後までご覧いただきありがとうございました🌈

まだまだ浅学非才な私ですが
noteという最高の環境を活用して
日々、成長できるように精進します🔥

アウトプット前提のインプットを体現する
ことができるのは、本当に有意義であると
思いますし、成長の記録としても残るため
非常にやりがいを感じています。

社会人になってもnoteはなるべく
継続していきたいことではありますが
あくまで趣味としての取組みになりますので
優先順位を大切にして活動していきます！

お気軽にコメント、スキ&記事の共有
そして私のアカウントをフォローして
いただけると大変嬉しく思います✨

今後とも何卒よろしくお願いいたします！