神经网络常用算法

一、sigmoid函数

def sigmoid(x):
    return 1 / ( 1 + np.exp(-x) )

二、阶跃函数

def step_function(x):
    return np.array(x > 0, dtype=np.int)

三、ReLu函数

def relu(x):
    return np.maximum(0, x)

四、softmax函数

def softmax(a):
    exp_a = np.exp(a)
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

函数作用：将所有元素调整为0-1之间的小数，并且各元素相加总和为1，作用于概率统计计算

附录：

机器学习与神经网络的不同

矩阵乘积运算法则

1. 交换律不成立：一般 AB  ≠  BA

2. 结合律：(AB)C=A(BC)

3. 分配律：A(B+C)=AB+AC

4. 单位矩阵：AE=EA=A

示例：

单位矩阵（注意是正对角线，反对角线不是）：

E=\begin{pmatrix} 1 , 0 , 0 , 0 \\ 0 , 1 , 0 , 0 \\ 0 , 0 , 1 , 0 \\ 0 , 0 , 0 , 1 \\ \end{pmatrix}

矩阵乘积：

A=\begin{pmatrix} 1 , 2 \\ 3 , 4 \end{pmatrix},\quad B=\begin{pmatrix} 5 , 6 \\ 7 , 8 \end{pmatrix}

A：2行2列，B：2行2列，乘积 C=AB 为2×2 1. 算 c_{11}（A第1行 · B第1列） c_{11}=1*5 + 2*7 = 19 2. 算 c_{12}（A第1行 · B第2列） c_{12}=1*6 + 2*8 = 22 3. 算 c_{21}（A第2行 · B第1列） c_{21}=3*5 + 4*7 = 43 4. 算 c_{22}（A第2行 · B第2列） c_{22}=3*6 + 4*8 = 50 AB=\begin{pmatrix} 19 , 22 \\ 43 , 50 \end{pmatrix}

最终结果：