陳雲濤的部落格

ML Lecture 3: Gradient Descent 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=yKKNr-QKz2Q 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html Loss function L 是一個 function 的 function 目的是要找一組參數 讓這個 Loss function 越小越好

ML Lecture 2: Where does the error come from? 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=D_S6y0Jm6dQ 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html error from “bias”

ML Lecture 1: Regression - Case Study 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=fegAeph9UaA 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html 回歸 ( Regression) 怎麼做呢？ step1: 找一個 Model => 找一個 Function Set

ML Lecture 11: Why Deep ? 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=XsC9byQkUH8 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html 神經網路為什麼越深越好？ 首先先做個實驗來探討： 一層，每層 2000個 neuron 得到的 Error rate 24.2% 兩層，每層 2000個 neuron 共有 4000 個參數，得到的結果 Error rate 20.4% 依此類推 … 使用七層時，每層 2000 個 neuron 共有 14000 個神經元，得到的結果 error rate 降為 17.2 % 這個結果很直觀，因為我們使用的參數越多， Model 就會越複雜，越能 match 我們的 data 那我們該如何比較很多層深的(Deep)架構跟胖的(Shallow)架構之間的準確率呢？

ML Lecture 10: Convolutional Neural Network CNN 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=FrKWiRv254g 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html 在 NN 架構中 每一個 Neural 都可視為一個簡單的 Classifier 如果有一張 100x100 大小的彩色圖片，每個 pixel 有 R,G,B 三個 Channel

ML Lecture 9: Tips for Training DNN 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=xki61j7z-30 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html 做 Deep Learning 的流程 step 1 定義 set of funcion step 2 定義 goodness of function step 3 挑選 best function → training 先檢查 training set 的 performance → 結果不錯的話 在檢查 testing set 的結果 → 結果不好 (overfitting) → 結果不錯 bingo ! Deep Learning 的方法要看的面向有兩個點：

ML Lecture 7: Backpropagation 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=ibJpTrp5mcE 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html 在 Neural Network 裡面使用 Gradient Descent 更新上百萬個參數 對於上百萬維度的 Vector 如何有效地計算偏微分出來 這就是 Backpropagation 做的事情！ 原理：會用到 Chain Rule，先來複習一下

ML Lecture 6: Introduction of Deep Learning 本篇為台大電機系李宏毅老師 Machine Learning (2016) 課程筆記 上課影片： https://www.youtube.com/watch?v=Dr-WRlEFefw 課程網 (投影片出處)： http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML16.html Deep Learning 的發展史 Deep Learning 的三個步驟