[RL3b] Temporal Difference Learning

[RL1] Markov Decision process – Introduction
[RL2a] Markov Decision Process – Discounted Reward
[RL2b] Markov Decision Process – Bellman equation
[RL2c] Markov Decision Process – Solving Bellman equation
[RL2d] Bellman Equations revisited
[RL3a] Reinforcement Learning context
[RL3b] Temporal Difference Learning – intuition

Như đã nói trong bài trước, ta sẽ tập trung vào Model-free RL, trong đó ta muốn học trực tiếp giá trị của các trạng thái Image may be NSFW.
Clik here to view. V(s) từ tập huấn luyện Image may be NSFW.
Clik here to view. <s, a, r>^* .

Cụ thể, tập huấn luyện sẽ gồm nhiều episodes, mỗi episode là một chuỗi Image may be NSFW.
Clik here to view. $s_1 \overset{r_1}{\longrightarrow} s_2 \overset{r_2}{\longrightarrow} s_3 \longrightarrow ... \longrightarrow s_F$ mà agent thực hiện cho đến khi kết thúc cuộc đời của nó. Chẳng hạn nếu là chơi cờ thì tập huấn luyện sẽ gồm nhiều trận đấu, mỗi trận là một chuỗi các nước đi. Từ tập huấn luyện này, ta tìm cách ước lượng Image may be NSFW.
Clik here to view. V(s) .

Tại sao lại ước lượng Image may be NSFW.
Clik here to view. V(s) , khi trong bài trước ta nói rằng Model-free RL tìm cách ước lượng giá trị Image may be NSFW.
Clik here to view. Q(s, a) ? Nhắc lại rằng ta có thể tính Image may be NSFW.
Clik here to view. Q(s, a) từ Image may be NSFW.
Clik here to view. V(s) , Image may be NSFW.
Clik here to view. R(s, a) và Image may be NSFW.
Clik here to view. T(s, a, s') , như đã nói trong bài này, mà Image may be NSFW.
Clik here to view. R(s, a) và Image may be NSFW.
Clik here to view. có thể ước lượng một cách đơn giản từ tập huấn luyện (chẳng hạn dùng maximum likelihood), nên một khi có Image may be NSFW.
Clik here to view. V(s) ta hoàn toàn có thể tính Image may be NSFW.
Clik here to view. Q(s, a) nếu muốn. Tuy nhiên mục tiêu cuối cùng của RL vẫn là tìm ra policy tối ưu, chứ không phải tìm Image may be NSFW.
Clik here to view. V(s) hay Image may be NSFW.
Clik here to view. Q(s,a) , mà từ Image may be NSFW.
Clik here to view. V(s) vẫn có thể dùng Image may be NSFW.
Clik here to view. $\arg\max$ để tìm policy tối ưu, thành ra Image may be NSFW.
Clik here to view. V(s) hay Image may be NSFW.
Clik here to view. Q(s, a) cũng không còn quan trọng nữa.

Mọi chuyện sẽ dễ dàng hơn khi ta xem ví dụ sau. Cho một MDP với mô hình chuyển trạng thái T và hàm reward R như sau:

Image may be NSFW.
Clik here to view. markov_states

Mô hình này có 6 trạng thái. Khi chuyển từ Image may be NSFW.
Clik here to view. s_1 sang Image may be NSFW.
Clik here to view. s_3 thì reward nhận được là +1, nghĩa là Image may be NSFW.
Clik here to view. R(s_1, a) = +1 . Tương tự như vậy cho các trạng thái khác. Image may be NSFW.
Clik here to view. s_F là trạng thái cuối cùng, trò chơi kết thúc khi agent đi đến trạng thái này.

Đặc biệt từ trạng thái Image may be NSFW.
Clik here to view. s_3 , agent có thể tới Image may be NSFW.
Clik here to view. s_4 với xác suất 0.9, và tới Image may be NSFW.
Clik here to view. s_5 với xác suất 0.1, nghĩa là Image may be NSFW.
Clik here to view. T(s_3, a, s_4) = 0.9 và Image may be NSFW.
Clik here to view. T(s_3, a, s_5) = 0.1 . Trong cả hai trường hợp, reward đều là 0.

Giờ ta thả 5 agent vào mô hình này, quan sát được các chuỗi trạng thái như sau:

Image may be NSFW.
Clik here to view. $1. s_1 \overset{+1}{\longrightarrow} s_3 \overset{+0}{\longrightarrow} s_4 \overset{+1}{\longrightarrow} s_F$
Image may be NSFW.
Clik here to view. $2. s_1 \overset{+1}{\longrightarrow} s_3 \overset{+0}{\longrightarrow} s_5 \overset{+10}{\longrightarrow} s_F$
Image may be NSFW.
Clik here to view. $3. s_1 \overset{+1}{\longrightarrow} s_3 \overset{+0}{\longrightarrow} s_4 \overset{+1}{\longrightarrow} s_F$
Image may be NSFW.
Clik here to view. $4. s_1 \overset{+1}{\longrightarrow} s_3 \overset{+0}{\longrightarrow} s_4 \overset{+1}{\longrightarrow} s_F$
Image may be NSFW.
Clik here to view. $5. s_2 \overset{+2}{\longrightarrow} s_3 \overset{+0}{\longrightarrow} s_5 \overset{+10}{\longrightarrow} s_F$

Giả sử rằng ta không biết mô hình MDP như trong hình, mà chỉ biết 5 episodes như trên. Bài toán RL là ước lượng mô hình MDP từ các episodes (training set) này.

Ở đây có 2 chuyện ta có thể làm:

Ước lượng mô hình MDP (tức là ước lượng Image may be NSFW.
Clik here to view. và Image may be NSFW.
Clik here to view.)
Ước lượng Image may be NSFW.
Clik here to view.

Ta sẽ xem lần lượt 2 chuyện này.

1. Ước lượng mô hình MDP

Cách dễ nhất để làm chuyện này là dùng maximum likelihood. Chẳng hạn nhìn vào 5 episodes trên ta thấy từ Image may be NSFW.
Clik here to view. s_1 lúc nào cũng đi tới Image may be NSFW.
Clik here to view. s_3 với reward bằng +1, nên theo maximum likelihood thì Image may be NSFW.
Clik here to view. T(s_1, a, s_3) = 1 và Image may be NSFW.
Clik here to view. R(s_1, a) = +1 .

Một trường hợp thú vị hơn là từ Image may be NSFW.
Clik here to view. s_3 ta có 3 lần đi đến Image may be NSFW.
Clik here to view. s_4 , và 2 lần đi đến Image may be NSFW.
Clik here to view. s_5 . Vậy suy ra Image may be NSFW.
Clik here to view. T(s_3, a, s_4) = 3/5 = 0.6 và Image may be NSFW.
Clik here to view. T(s_3, a, s_5) = 2/5 = 0.4 .

Có bạn sẽ bảo: ủa vậy sai rồi, vì theo mô hình như trong sơ đồ trên, thật ra Image may be NSFW.
Clik here to view. T(s_3, a, s_4) = 0.9, T(s_3, a, s_5) = 0.1 .

Đương nhiên là sai, vì ta ước lượng tham số chỉ dựa vào 5 episodes. Nếu có nhiều dữ liệu hơn, có thể ước lượng của ta sẽ gần hơn với mô hình MDP đã cho.

Như vậy ta đã thấy việc ước lượng T và R từ chuỗi Image may be NSFW.
Clik here to view. <s, a, s'>^* là rất đơn giản. Nhưng như ta đã nói, ta sẽ tập trung vào model-free RL, nên phần này xem như là làm chơi cho biết. Ta tập trung chủ yếu vào phần sau.

2. Ước lượng Image may be NSFW.
Clik here to view.

Nhắc lại rằng theo định nghĩa Image may be NSFW.
Clik here to view. $\displaystyle V\left(s\right) = \max_a \left(R\left(s, a\right) + \gamma\sum_{s'}T\left(s,a,s'\right)V\left(s'\right)\right)$ . (1)

Khi áp dụng vào trong mỗi episode trong training set, vì ta quan sát được các trạng thái cho đến cuối cùng, nên không còn hàm Image may be NSFW.
Clik here to view. $\max$ nữa. Chẳng hạn với chuỗi đầu tiên Image may be NSFW.
Clik here to view. $s_1 \overset{+1}{\longrightarrow} s_3 \overset{+0}{\longrightarrow} s_4 \overset{+1}{\longrightarrow} s_F$ thì ta có:

Image may be NSFW.
Clik here to view. V(s_F) = 0 (giả sử vậy đi)
Image may be NSFW.
Clik here to view. $V(s_4) = R(s_4, a) + \gamma T(s_4, a, s_F) V(s_F) = 1$
Image may be NSFW.
Clik here to view. $V(s_3) = R(s_3, a) + \gamma T(s_3, a, s_4) V(s_4) = 0 + \gamma 0.9$
Image may be NSFW.
Clik here to view. $V(s_1) = R(s_1, a) + \gamma T(s_1, a, s_3) V(s_3) = 1 + \gamma\left(\gamma 0.9\right) = 1 + 0.9 \gamma^2$

Nói chung cứ như vậy ta có thể tính được Image may be NSFW.
Clik here to view. V(s) cho mỗi episode, tuỳ vào giá trị của Image may be NSFW.
Clik here to view. $\gamma$ .

Tuy nhiên để ý rằng trong tính toán ở trên ta đã “cheat” bằng cách dùng kiến thức ta đã biết từ mô hình MDP, rằng Image may be NSFW.
Clik here to view. T(s_3, a, s_4) = 0.9 . Trong thực tế khi học, ta chưa biết giá trị của T, thành ra một cách “ngây thơ” nhất, ta sẽ giả sử Image may be NSFW.
Clik here to view. T(s, a, s') = 1 cho mọi s và s’. Như vậy các phép tính ở trên sẽ thành:

Image may be NSFW.
Clik here to view. V(s_F) = 0
Image may be NSFW.
Clik here to view. $V(s_4) = R(s_4, a) + \gamma T(s_4, a, s_F) V(s_F) = 1$
Image may be NSFW.
Clik here to view. $V(s_3) = R(s_3, a) + \gamma T(s_3, a, s_4) V(s_4) = 0 + \gamma$
Image may be NSFW.
Clik here to view. $V(s_1) = R(s_1, a) + \gamma T(s_1, a, s_3) V(s_3) = 1 + \gamma^2$

Trở lại với tập huấn luyện:

Để đơn giản hơn nữa, ta sẽ giả sử luôn là Image may be NSFW.
Clik here to view. $\gamma = 1$ . Như vậy có thể thấy trong episode số 1, ta có Image may be NSFW.
Clik here to view. V_1(s_1) = 2 , trong episode số 2, ta có Image may be NSFW.
Clik here to view. V_2(s_1) = 11 , trong episode số 3, ta có Image may be NSFW.
Clik here to view. V_3(s_1) = 2 v.v… Giả sử ta mới chỉ quan sát được 3 episode đầu tiên, thì rõ ràng với maximum likelihood, ta sẽ có Image may be NSFW.
Clik here to view. V(s_1) = (2 + 11 + 2)/3 = 5 .

Với episode số 4, ta có Image may be NSFW.
Clik here to view. V_4(s_1) = 2 . Ta dễ dàng ước lượng giá trị mới của Image may be NSFW.
Clik here to view. V(s_1) là Image may be NSFW.
Clik here to view. V(s_1) = (3 * 5 + 2) / 4 = 17/4 = 4.25

Có bạn lại bảo: ủa vậy sai rồi, với Image may be NSFW.
Clik here to view. $\gamma=1$ , dùng công thức huyền thoại Image may be NSFW.
Clik here to view. $\displaystyle V\left(s\right) = \max_a \left(R\left(s, a\right) + \gamma\sum_{s'}T\left(s,a,s'\right)V\left(s'\right)\right)$ , ta sẽ tính được Image may be NSFW.
Clik here to view. V(s_1) = 2.9 (lưu ý Image may be NSFW.
Clik here to view. V(s_3) = 0 + (0.9 * 1 + 0.1 * 10) = 1.9 ).

Đương nhiên là sai, vì ta mới chỉ quan sát được 4 episodes.

Một cách tổng quát hơn, gọi Image may be NSFW.
Clik here to view. $V_{T}\left(s\right)$ là giá trị của Image may be NSFW.
Clik here to view. V(s) sau khi quan sát episode thứ T, Image may be NSFW.
Clik here to view. R_T(s) là reward mà agent nhận được cho trạng thái Image may be NSFW.
Clik here to view. trong episode T. Như trong ví dụ trên, khi Image may be NSFW.
Clik here to view. T=4 thì Image may be NSFW.
Clik here to view. $V_{T-1}(s_1) = V_3(s_1) = 5$ , Image may be NSFW.
Clik here to view. V_T(s_1) = V_4(s_1) = 4.25 và Image may be NSFW.
Clik here to view. R_T(s_1) = R_4(s_1) = 2 .

Dùng toán phổ thông, ta có thể tính Image may be NSFW.
Clik here to view. V_T(s) từ Image may be NSFW.
Clik here to view. $V_{T-1}(s)$ như sau:

Image may be NSFW.
Clik here to view. $\displaystyle V_T(s) = \frac{(T-1)V_{T-1}(s) + R_T(s)}{T}$
Image may be NSFW.
Clik here to view. $\displaystyle V_T(s) = \frac{T-1}{T}V_{T-1}(s) + \frac{1}{T}R_T(s)$
Image may be NSFW.
Clik here to view. $\displaystyle V_T(s) = V_{T-1}(s) + \alpha_T\left(R_T(s) - V_{T-1}(s)\right)$ (2)

với Image may be NSFW.
Clik here to view. $\alpha_T = \frac{1}{T}$ gọi là learning rate, và rõ ràng là Image may be NSFW.
Clik here to view. $\alpha_T$ càng nhỏ khi Image may be NSFW.
Clik here to view. càng lớn (càng học nhiều episode thì Image may be NSFW.
Clik here to view. $\alpha_T$ càng nhỏ).

Công thức (2) là tinh thần chung của Temporal Difference Learning. Rõ ràng ta cập nhật Image may be NSFW.
Clik here to view. V_T(s) với mỗi episode, dựa vào “độ lỗi” tính bởi Image may be NSFW.
Clik here to view. $\left(R_T(s) - V_{T-1}(s)\right)$ , được weight bằng learning rate. Độ lỗi này thực chất là sự khác biệt giữa reward trong episode mới và ước lượng hiện tại của Image may be NSFW.
Clik here to view. V(s) , do đó đây được gọi là Temporal Difference Learning.

Ta sẽ phát biểu Temporal Difference Learning một cách hình thức trong bài sau.

Image may be NSFW.
Clik here to view.

[RL3b] Temporal Difference Learning – intuition

1. Ước lượng mô hình MDP

2. Ước lượng Image may be NSFW.
Clik here to view.

Trending Articles

Practice Sheet of Right form of verbs for HSC Students

Download: FK ft Shenky – Nakuyewa ”Prod by: Shenky”

How to win at Markstrat (Markstrat Tips and Tricks) – Vodites

Ominde Commission Report and Recommendations – Ominde Report of 1964

Bureau of Internal Revenue: Regional Offices (Directory)

GO 53 on Enhancement of Ex-gratia upto 5 Lakhs Toddy Tappers in Telangana

Cakewalk CA-2A Leveling Amplifier v2.0.1.97 WiN, v2.0.1.96 OSX Incl Keygen

Mp3 Download: Mdu - Kunjenjenjena

How the kill the job , when DTP request running for long hours.

Microsoft Intune から展開しているアプリのアップデートについて

18-year-old girl was beaten for half an hour by two Northampton men in 'an...

Car crash in Dunton Bassett leaves driver in critical condition

Macky 2, Two Others In Road Accident

Application log 00000000000000089514: Could not convert queue DLVST90CLNT

Detroit mafia: D’Anna Brothers agree to plea deal

Delivery block field greyed out using VA02

Muloraki Au

【個人撮影】スマホのプライベート映像♪「中に出さないで///」カラオケ屋での生ハメ撮りが流出ｗ【リベンジポルノ】＠PornHub

BREAKING NEWS: Diamond Platnumz Is Reported Dead After Ghastly Car Accident

FIAT 500 B0111 B0112

1. Ước lượng mô hình MDP

2. Ước lượng Image may be NSFW. Clik here to view.

Trending Articles

2. Ước lượng Image may be NSFW.
Clik here to view.