陳雲濤的部落格

RNN 筆記 - 損失函數與反向傳遞演算法 Recurrent Neural Network (RNN) Ref 吳尚鴻教授上課影片 from Youtube:  https://www.youtube.com/watch?v=2btuy_-Fw3c&list=PLlPcwHqLqJDkVO0zHMqswX1jA9Xw7OSOK Ref LaTeX Math Symbols:  http://web.ift.uib.no/Teori/KURS/WRK/TeX/symALL.html 本篇討論 RNN 是怎麼 train 的！ Cost Function of Vanilla RNNs Parameters to learn:  Θ = { 𝑊 ( 𝑘 ) , 𝑈 ( 𝑘 ) } 𝑘 (bias terms omitted)

RNN 筆記 - 基礎架構 Recurrent Neural Network (RNN) Ref 吳尚鴻教授上課影片 from Youtube:  https://www.youtube.com/watch?v=2btuy_-Fw3c&list=PLlPcwHqLqJDkVO0zHMqswX1jA9Xw7OSOK Ref LaTeX Math Symbols:  http://web.ift.uib.no/Teori/KURS/WRK/TeX/symALL.html 本篇主要透過數學表達式，來探討 RNN 之架構 Vanilla RNN RNN Dataset Dataset:  Ｘ= { 𝑋 ( 𝑛 ) } 𝑛 ∈ ℝ 𝑁 × ( 𝐷 , 𝐾 ) × 𝑇 𝑋 ( 𝑛 ) = { ( 𝑥 ( 𝑛 , 𝑡 ) , 𝑦 ( 𝑛 , 𝑡 ) ) } 𝑡 a  sequence , where the superscript  𝑛 n  can be omitted for simplicity 很多的 x,y pair 𝑛  代表 第n個  data point