「機器學習中所有的算法都需要最大化或最小化一個函數，這個函數被稱為「目標函數」，其中，我們一般把最小化的一類函數，稱為「損失函數」。目的是要找到損失函數達到極小值的點，解決機器學習優化中最重要的部分。
關於評價函數 Evaluation Function
評價函數 Evaluation Function，又稱為動能評估函數，是許多人開始邁入基於機器學習 Machine Learning 相關主題練習時，常用來預測誤差的評價指標：
- 均方根誤差（RMSE）
- R-平方（R2）
- 平均絕對百分誤差（MAPE）
- 平均絕對誤差（MAE）
- 希爾不等系數（TIC）
均方根誤差（RMSE）
- RMSE是預測值與真實值的誤差平方根的均值。
均方根誤差RMSE(Root-Mean-Square Error)， 均方根誤差亦稱標準誤差，它是觀測值與真值偏差的平方與觀測次數比值的平方根。均方根誤差是用來衡量觀測值同真值之間的偏差。標準誤差對一組測量中的特大或特小誤差反映非常敏感。所以，標準誤差能夠很好地反映出測量的精密度。可用標準誤差作為評定這一測量過程精度的標準。
- 優點：標準化平均方差對均方差進行了標準化改進，通過計算擬評估模型與以均值為基礎的模型之間準確性的比率，標準化平均方差取值範圍通常為0～1，比率越小，說明模型越優於以均值進行預測的策略，NMSE的值大於1，意味著模型預測還不如簡單地把所有觀測值的平均值作為預測值。
- 缺點：但是通過這個指標很難估計預測值和觀測值的差距，因為它的單位也和原變量不一樣了，綜合各個指標的優缺點，我們使用三個指標對模型進行評估。
平均絕對誤差（MAE）、平均絕對百分誤差（MAPE）
相對百分誤差絕對值的平均值MAPE(mean absolute percentage error)：可以用來衡量一個模型預測結果的好壞。
MAE平均絕對誤差=︱原值-估計值︱/n
MAE優缺點：雖然平均絕對誤差能夠獲得一個評價值，但是你並不知道這個值代表模型擬合是優還是劣，只有通過對比才能達到效果；
