一、什么是机器学习?
其实我们前面介绍规则总结的时候,其实已经提到了机器学习。
机器学习的核心思想,是构建一个可以从数据中学习的模型,并利用这个模型来进行预测或决策。
机器学习不是一个具体的模型或算法。它包括了很多种类型,例如:
- 监督学习:算法从带有标签的数据集中学习,即每个训练样本都有一个已知的结果。
- 无监督学习:算法从没有标签的数据集中学习。
- 半监督学习:结合了少量的带标签数据和大量的未带标签数据进行训练。
- 强化学习:通过试错的方式,学习哪些行为可以获得奖励,哪些行为会导致惩罚。
二、什么是深度学习?
深度学习,具体来说,是深度神经网络学习。
深度学习是机器学习的一个重要分支。机器学习底下有一条“神经网络”路线,而深度学习,是加强版的“神经网络”学习。
神经网络是联结主义的代表。顾名思义,这个路线是模仿人脑的工作原理,建立神经元之间的联结模型,以此实现人工神经运算。
深度学习所谓的“深度”,是神经网络中“隐藏层”的层级。
经典机器学习算法使用的神经网络,具有输入层、一个或两个“隐藏层”和一个输出层。
深度学习算法使用了更多的“隐藏层”(数百个)。它的能力更加强大,让神经网络能够完成更困难的工作。
机器学习、神经网络和深度学习的关系,通过下面的图可以看出:
三、什么是卷积神经网络、循环神经网络?
神经网络从1980年代开始崛起之后,就形成了很多的模型和算法。不同的模型和算法,有着各自的特性和功能。
卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN),是1990年代左右诞生的比较知名的神经网络模型。
- 卷积神经网络(CNN)是一种用于处理具有类似网格结构的数据(例如图像和视频)的神经网络。所以,它通常用于计算机视觉中,可以用来图像识别和图像分类。
- 循环神经网络(RNN)是一种用于处理序列数据的神经网络,例如语言模型和时间序列预测。所以,它通常用于自然语言处理和语音识别。
四、什么是transformer?
transformer也是一个神经网络模型。它比卷积神经网络和循环神经网络更加年轻(2017年由谷歌研究团队提出),也更加强大。
1、它是一种深度学习模型;
2、它使用了一种名为自注意力(self-attention)的机制;
3、它有效解决了卷积神经网络和循环神经网络的瓶颈(局限性)问题;
4、它很适合自然语言处理(NLP)任务。相比循环神经网络,它的计算可以高度并行化,简化了模型架构,训练效率也大大提升;
5、它也被扩展到了其他领域,如计算机视觉和语音识别。
6、现在我们经常提到的大模型,几乎都是以transformer为基础。
神经网络还有很多种,我在网上找到一张图,供参考: