算法崗面試經驗:機器學習之激活函數(shù)

本文是針對機器學習/推薦系統(tǒng)/競價廣告等算法崗面試的第一篇文章,期望提供較為完整的基礎資料,幫助讀者鞏固根基,同時對相關內容進行了發(fā)散和拓展,希望增進讀者思考以更好地應對面試中突發(fā)問題。文章主要分為兩部份,第一部分是基礎知識回顧,第二部份是面試建議,愿開卷有益。























B. 面試建議
激活函數(shù)是神經網絡中很小的一個知識點,數(shù)理簡單。通常面試官的問題會一帶而過,淺嘗轍止,普通讀者需要掌握Sigmoid函數(shù)(含推導)、ReLU(優(yōu)缺點),并盡量避免因犯低級錯誤而造成基礎不牢的印象。
學有余力的讀者,最好可以按照Sigmoid - ReLU - Leaky Relu - ELU - GELU - Swish的邏輯鏈條串講,如時間緊張,可只說Sigmoid - ReLU - Swish。
對比學習,Sigmoid vs Tanh,ELU vs GELU vs Swish的曲線差異可有意識記憶下(比如誰更﨣峭)。
拓展知識能為面試引入亮點,但請注意要在充分理解的把握下提及,至少你曾推導過相關公式,或者查找過具體代碼。
建議讀者在學習、實習或工作項目中,嘗試使用Swish/GELU替換ReLU看下效果,從而可在項目講解中作為一個改進點引入話題。
學而不思則罔,思而不學則殆。歡迎搜索“句股重差”關注、指正和討論。