我在認真上班

在深度學習內現在有主要的三種算式

1. 點積 也就是內積
用於常規的類神經網路
一層普通的MLP可以寫成y = f(x) = Activation(W ‧ x)

2. 哈達瑪乘積
[1,2,3] ⊙ [4,5,6] =[4,10,18]
常見於注意力機制中，卷積式神經網路也會使用哈達瑪乘積

常見的注意力機制可以簡化為以下式子
y = f(x) = δ(x) ⊙ x
簡單來說就是對輸入x的每一項乘上一個權重的概念

3. 相加
無他
y = f '(x) = f(x) + x
常見於殘差網路可以用於解決梯度消失的問題
大意為就算f(x)再怎麼爛，至少都順便傳遞個原本的x資訊下去了，也不會爛到哪裡去。