在說它的演算法機制與複雜公式前，我先用幾張簡單的圖說明流程。
訓練監督式神經網路演算法的流程，就像給機器人寫無數個有正確解答的題目。
藉由無數次的訓練，答錯修正權重，答對保持全重設置，讓神經網路判斷越來越準確。
圖解神經網路運作流程
向前傳遞階段
在計算誤差值後的下一階段，便是權重的修正階段。
權重修正的目的是在讓修正後，當資料再次匯入模型後的輸出結果與真實資料的差距更小。
藉由一步一步的修正，讓此差距逐步減小，也代表著讓誤差值逐步減小。
而修正權重的方式為梯度下降法。
其想法為模型會因為權重的不同而有不一樣的誤差值，在每一次匯入訓練資料候我們都能藉由誤差函數得到誤差值。
各個權重的調整對於誤差的改變如下圖 :
方均根誤差(mean-square error、MSE)為神經網路裡常用的誤差函數之一，其公式如下
公式裡的𝑛為訓練資料總個數，𝑚為每筆資料𝑦的特徵數量，y_{ij}為真實值， \widehat{y}_{ij} 為模型預測值。在我們的示範算法裡，因為只有一筆訓練資料𝑛 = 1，每筆資料僅有兩個特徵𝑚 = 2，誤差值計算為
初始參數設定
假設訓練的單一資料為 x=\binom{x_{1}}{x_{2}} 、 y=\binom{y_{1}}{y_{2}}
輸入層與隱藏層的權重與偏差值為w、b_{h} :
隱藏層與輸出層的權重與偏差值為 b、b_{0} :
因為Perceptron結構的侷限，無法解決更複雜的問題。
既然一個無法解決，於是就將多個連在一起，總可以解決了吧。
於是將無數個Perceptron連結，同時加上適當的激發函數，組成多層感知器Multilayer Perceptron(MLP)。
在資料傳遞上，單位神經元的輸出也可以變成下一層神經元的輸入，讓數據型態變得更高維，不斷的在向量空間映射。
可以同時融入更多參數集合的演算法，相比單元感知器，多層感知器面對更複雜的問題能進行更有效的模擬。
在上一階段 MLP 討論到每一層神經元資料輸出到下一層之前都會經過不同形式的激發函數。
而接下來討論的是不同於傳統的全或無激發態。
取而代之的是一個非線性的數學轉換，增加了激發函數的複雜度使之也能模擬較複雜的非線性問題。
Perceptron 為 Rosenblatt 提出第一個單元神經網路模型。
架構包含連結權重與激發函數的應用。
此模型基於 1943 年 McCulloch 與 Pitts 所提出的神經元模型，模擬了腦部神經架構以數學的方式解釋，其中並引入激發狀態概念”all ornone”，提出了許多連結性資訊傳遞在有激發函數下的討論。
