感知机学习笔记

多层感知机是什么？

多层感知机（Multilayer Perceptron，MLP）是一种前馈人工神经网络模型，它包括至少三层（输入层、隐藏层和输出层）的节点。每一层都完全连接到下一层的节点。在MLP中，信息从输入层开始，经过隐藏层，最后到达输出层。这种从输入到输出的单向流动使得MLP成为一种前馈网络。 MLP的每个节点都使用一个非线性激活函数，这使得MLP可以表示非线性函数。这是MLP与单层感知机（只有输入层和输出层，使用线性激活函数）的主要区别。 它也可以进行反向传播，因此它是最基本的前馈人工神经网络之一。

多层感知机与感知机在网络上有什么区别？

1. 结构上的区别： 感知机是一个简单的线性分类器，通常由输入层和输出层组成。输入层接收输入特征并通过权重与输出层相连，输出层负责计算预测结果。感知机只有一个输出节点，用于进行二分类任务。

多层感知机是一种前馈神经网络，包含一个输入层、一个或多个隐藏层和一个输出层。每个层之间的神经元通过权重连接。与感知机相比，MLP具有更复杂数学模型和更多的参数，因此可以表示更复杂的函数和解决非线性分类和回归问题。

1. 激活函数的区别： 感知机使用线性激活函数，通常是阶跃函数。这意味着感知机只能处理线性可分问题。

多层感知机在隐藏层使用非线性激活函数，如ReLU（Rectified Linear Unit）、Sigmoid或tanh（双曲正切）等。这使得MLP可以捕捉到输入数据中的非线性特征，从而可以处理更复杂的问题。

1. 学习能力的区别： 由于感知机是一个简单的线性分类器，它的学习能力有限。对于线性不可分问题，感知机无法找到一个合适的决策边界。此外，感知机只能处理二分类问题。

多层感知机具有更强大的学习能力，可以解决非线性和多分类问题。通过增加隐藏层和神经元数量，MLP可以表示更复杂的函数，从而解决更多类型的问题。不过，随着模型复杂度的增加，MLP可能面临过拟合和梯度消失等问题。

总之，多层感知机和感知机主要在网络结构、激活函数和学习能力方面有所区别。多层感知机具有更强大的学习能力，可以解决更复杂的问题，而感知机只适用于简单的线性分类任务。

感知机为什么是线性的呢？

感知机是线性的，因为它的输出是输入特征与权重的线性组合。假设我们有一个二维输入向量x = (x1, x2)，对应的权重向量为w = (w1, w2)，偏置项为b。那么感知机的输出可以表示为：

y = w1 * x1 + w2 * x2 + b

这是一个线性方程，因此感知机只能处理线性问题。感知机通常使用阶跃函数作为激活函数，使得输出变为二分类结果。阶跃函数的定义如下：

f(x) = 1 if x >= 0 f(x) = 0 if x < 0

当我们使用非线性激活函数时，感知机的输出将不再是线性关系。非线性激活函数可以帮助神经网络捕捉输入数据中的非线性特征。例如，一个常用的非线性激活函数是Sigmoid函数，定义如下：

f(x) = 1 / (1 + e^(-x))

Sigmoid函数将输入值映射到0和1之间，形成一个非线性的S形曲线。当我们在感知机的隐藏层使用非线性激活函数时，输出将是输入特征的非线性组合。这使得神经网络可以学习更复杂的函数和解决非线性问题。

例如，在多层感知机（MLP）中，我们可以使用Sigmoid激活函数。对于同样的二维输入向量x = (x1, x2)，权重向量为w = (w1, w2)，偏置项为b，隐藏层输出可以表示为：

h = f(w1 * x1 + w2 * x2 + b) = f(y)

由于Sigmoid函数是非线性的，这使得多层感知机能够捕捉输入数据中的非线性特征。通过在隐藏层使用非线性激活函数，神经网络可以表示更复杂的函数并解决非线性问题。

为什么不用x^2这样的形式作为激活函数呢？

使用x^2或x^3作为激活函数是可能的，但它们在实际应用中并不常见。这主要是因为这些激活函数可能导致一些不理想的性质，如梯度消失、梯度爆炸等问题，从而影响神经网络的训练效果。具体来说：

1. x^2作为激活函数： x^2作为激活函数的问题在于其梯度在0附近很小，这会导致梯度消失问题。当梯度接近于0时，权重更新会变得非常缓慢，使得神经网络的训练过程变得低效。此外，x^2函数在正值区间是单调递增的，但在整个区间上并不是单调的，这可能导致训练过程中的不稳定性。

2. x^3作为激活函数： x^3作为激活函数存在的问题包括梯度爆炸和梯度消失。当输入值较大时，梯度可能会非常大，导致权重更新过大，从而使训练过程变得不稳定。x^3函数在0附近的梯度非常小，这可能导致梯度消失问题。这些问题可能影响神经网络的训练效果。

相比之下，常见的激活函数如ReLU、Sigmoid和tanh在实际应用中具有更好的性能。例如，ReLU激活函数可以有效缓解梯度消失问题，而Sigmoid和tanh激活函数在一定范围内具有良好的梯度特性，有助于网络的稳定训练。

虽然可以使用x^2和x^3作为激活函数，但它们可能导致训练过程中的梯度消失、梯度爆炸等问题。相比之下，常见的激活函数如ReLU、Sigmoid和tanh在实际应用中具有更好的性能。

能否改变初始的公式y=wx+b？

神经网络的本质就是在使简单的线性方程 y = wx + b 变得更加复杂。在多层神经网络中，我们通过添加隐藏层和激活函数来构建更复杂的模型。实际上，神经网络可以看作是一系列线性变换（wx + b）和非线性激活函数的组合，用于捕捉输入数据中的非线性关系。

当我们添加隐藏层并使用非线性激活函数时，神经网络就不再是一个简单的线性模型。例如，在一个单隐藏层的多层感知机（MLP）中，隐藏层的输出可以表示为：

h = f(W1 * x + b1)

这里，W1 是输入层到隐藏层的权重矩阵，x 是输入向量，b1 是偏置向量，f 是激活函数（如 ReLU、Sigmoid 或 tanh）。然后我们可以将隐藏层的输出 h 传递到输出层：

y = W2 * h + b2

这里，W2 是隐藏层到输出层的权重矩阵，b2 是输出层的偏置向量。

通过这种方式，我们实际上已经使原始的线性方程变得更加复杂。神经网络通过将多个线性变换与非线性激活函数相结合，可以表示非常复杂的函数。因此，我们不需要直接改变初始的线性方程，而是通过构建具有多层结构和激活函数的神经网络来增加模型的复杂度。

多层感知机的损失函数

具体取决于它们的任务类型和目标。损失函数是用于衡量模型预测结果与真实目标之间的差异，通过优化损失函数来训练神经网络。这里我们讨论一些常见的损失函数：

多层感知机可以用于多种任务，如多分类、二分类或回归。因此，MLP 的损失函数选择可能有所不同。以下是一些常用的损失函数：

• 对于多分类任务，通常使用交叉熵损失（Cross-Entropy Loss）：

  L(y, ŷ) = -∑(y_i * log(ŷ_i))

  其中，y_i 是真实标签的 one-hot 编码，ŷ_i 是模型的预测概率。

• 对于二分类任务，可以使用二元交叉熵损失（Binary Cross-Entropy Loss）：

  L(y, ŷ) = -[y * log(ŷ) + (1 - y) * log(1 - ŷ)]

  其中，y 是真实标签（0 或 1），ŷ 是模型的预测概率。 还有：

召回率（Recall）：也称为真阳性率（True Positive Rate, TPR），它衡量的是模型正确识别为正例的样本占所有实际正例的比例。计算公式为：Recall = TP / (TP + FN)，其中FN是假阴性的数量。

F1分数（F1 Score）：精确率和召回率的调和平均值，是一个综合考虑精确率和召回率的指标。计算公式为：F1 = 2 * (Precision * Recall) / (Precision + Recall)。

准确率（Accuracy）：正确预测的样本数（真正例和真阴性）占所有样本数的比例。计算公式为：Accuracy = (TP + TN) / (TP + TN + FP + FN)。

特异性（Specificity）：也称为真阴性率（True Negative Rate, TNR），它衡量的是模型正确识别为负例的样本占所有实际负例的比例。计算公式为：Specificity = TN / (TN + FP)。

AUC-ROC（Area Under the Receiver Operating Characteristic Curve）：ROC曲线下的面积，它衡量的是模型在所有可能的分类阈值下的整体性能。

AUC-PR（Area Under the Precision-Recall Curve）：精确率-召回率曲线下的面积，对于不平衡数据集，这个指标比AUC-ROC更有信息量。

Matthews相关系数（Matthews Correlation Coefficient, MCC）：一个介于-1和+1之间的值，它是一个平衡的度量，即使在类别不平衡的情况下也能提供有用的信息。

错误率（Error Rate）：错误预测的样本数占所有样本数的比例。计算公式为：Error Rate = (FP + FN) / (TP + TN + FP + FN)。

这些指标可以根据具体的应用场景和业务需求来选择，以便全面评估模型的性能。

• 对于回归任务，通常使用均方误差损失（Mean Squared Error Loss）：

  L(y, ŷ) = (1 / n) * ∑(y_i - ŷ_i)^2

  其中，y_i 是真实值，ŷ_i 是模型的预测值，n 是样本数量。