BP算法python代码

原创

mob64ca12e8a030 2023-08-26 06:38:35 ©著作权

文章标签 反向传播权重代码示例 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e8a030的原创作品，请联系作者获取转载授权，否则将追究法律责任

BP算法及其应用

BP（Back Propagation）算法是一种常用的神经网络训练算法。它通过反向传播误差来调整网络的权重和偏置，从而实现对样本数据的分类或者回归预测。本文将介绍BP算法的原理、实现以及应用，并提供Python代码示例。

1. BP算法原理

BP算法是一种有监督学习算法，包含两个阶段：前向传播和反向传播。首先，输入样本通过前向传播得到输出结果；然后，通过比较输出结果与期望结果的差异，利用反向传播调整网络的权重和偏置，使得输出结果更加接近期望结果。

BP算法的核心思想是利用梯度下降法来最小化样本预测误差，即通过反向传播调整网络参数，使得损失函数的值最小化。具体来说，BP算法的步骤如下：

初始化网络的权重和偏置；
对于每个输入样本，进行前向传播计算，得到输出结果；
计算输出结果与期望结果之间的误差；
利用误差进行反向传播，调整网络的权重和偏置；
重复上述步骤，直到满足停止条件（如达到最大迭代次数或误差小于阈值）。

2. BP算法实现

下面是一个简单的BP算法实现的Python代码示例：

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def sigmoid_derivative(x):
    return x * (1 - x)

class NeuralNetwork:
    def __init__(self, layers):
        self.layers = layers
        self.weights = [np.random.randn(layers[i], layers[i+1]) for i in range(len(layers)-1)]
        self.biases = [np.random.randn(1, layers[i+1]) for i in range(len(layers)-1)]

    def forward(self, X):
        self.activations = [X]
        self.z_values = []

        for i in range(len(self.layers)-1):
            z = np.dot(self.activations[i], self.weights[i]) + self.biases[i]
            self.z_values.append(z)
            activation = sigmoid(z)
            self.activations.append(activation)

        return self.activations[-1]

    def backward(self, X, y, learning_rate):
        deltas = []
        output_error = (self.activations[-1] - y) * sigmoid_derivative(self.activations[-1])
        deltas.append(output_error)

        for i in range(len(self.layers)-2, 0, -1):
            error = np.dot(deltas[-1], self.weights[i].T) * sigmoid_derivative(self.activations[i])
            deltas.append(error)

        deltas.reverse()

        for i in range(len(self.layers)-1):
            self.weights[i] -= learning_rate * np.dot(self.activations[i].T, deltas[i])
            self.biases[i] -= learning_rate * np.sum(deltas[i])

    def train(self, X, y, epochs, learning_rate):
        for _ in range(epochs):
            output = self.forward(X)
            self.backward(X, y, learning_rate)

    def predict(self, X):
        return np.round(self.forward(X))

X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0, 1, 1, 0]]).T

nn = NeuralNetwork([2, 4, 1])
nn.train(X, y, epochs=10000, learning_rate=0.1)

print(nn.predict(X))

在这个示例中，我们定义了一个NeuralNetwork类，其中包含了初始化网络参数、前向传播、反向传播、训练和预测等方法。具体实现过程如下：