1?Introduction

1.1 What is a Neural Network

• 最小單元的神經網絡

• ReLU( Rectified Linear Unit )函數 - 線性整流函數

• 房價預測模型例子

只要有足夠多的訓練數據， 神經網絡就可以很好的擬合出一個函數建立輸入x到輸出y的映射關系

• 監(jiān)督學習：就是把一個輸入x和輸出y映射起來

1.2 Supervised learning with Neural Network

• Supervised learning

CNN更適合圖像識別 RNN更適合時序數據的處理，即音頻和自然語言處理

• Neural network example

• Scale drives deep learning progress

規(guī)模驅動深度學習的進展，規(guī)模包含數據規(guī)模和模型規(guī)模

在數據量不大的區(qū)間內，各種模型算法的性能排名是不固定的，這取決于對此部分數據集特征提取的能力

除了數據與算力，算法的更新也推動了DL的發(fā)展，縮短了模型訓練的時間，更多想法可以被驗證和發(fā)布