数据挖掘

对于普通人来说,大海是很难感知的,就更不用说找到宝藏了。但对于熟练的石油开采人员来说,大海是有坐标的。他们对地质做勘探,分析地质构造,从而发现哪些地方更可能有石油。然后用开采工具,进行深度挖掘,直到打到石油为止。

数据挖掘,知识清单

掌握数据挖掘的基本流程,十大算法,数学原理

数据挖掘基本流程

1.商业理解:数据挖掘不是我们的目的,我们的目的是更好地帮助业务,所有第一步我们从商业的角度理解项目需求,再在这个基础上,对数据挖掘的目标进行定义。
2.数据理解:尝试收集部分数据,然后对数据进行探索,包括数据描述、数据质量验证等。这有助于你对收集的数据有个初步的认知。
3.数据准备
4.模型建立
5.模型评估
6.上线发布

数据挖掘十大算法

分类算法:C4.5,朴素贝叶斯,SVM,KNN,Adaboost,CART
聚类算法:KMeans,EM
关联分析:Apriori
连接分析:PageRank

1.C4.5
是的得票最高的算法,是十大算法之首。是决策树的算法,在决策树构造过程中进行剪枝,并且可以处理连续性的属性,也能对不完整的属性进行处理。
2.朴素贝叶斯
基于概率论的原理。是对给出的未知物体进行分类,这个未知物体出现的条件下各个类别出现的概率,哪个最大,就认为这个未知物体属于哪一类。
3.SVM
中文名叫支持向量机。SVM在训练中建立了一个超平面的分类模型。
4.KNN
KNN也叫K最近邻算法,K近邻,就是每个样本都可以用它最接近的K个邻居来代表。如果一个样本,K个最接近的邻居都属于类别A,则这个样本就属于分类A。
5.AdaBoost
AdaBoost在训练中建立了一个联合的分类模型。boost是提升的意思。AdaBoost是个构建分类器的提升算法。它可以根据多个弱的分类器组成一个强的分类器。所有很常用。
6.CART
CART代表分类树和回归树。和C4.5一样,是一个决策树学习的方法。
7.Apriori
是挖掘关联规则的算法。通过挖掘频繁项集来揭示物品之间关联关系,被广泛应用于商业挖掘和网络安全等领域中。频繁项集指经常出现在一起的物品的集合,关联规则暗示着两种物品之间可能存在很强的关系。
8.K-Means
是一种聚类算法。把物体划分为K类,假设每个类别里面都有“中心点”,它是类别的核心。现在有一个新点归类,就计算这个新点于K个中心的距离,距离哪个中心点近,就变成哪个类别。
9.EM
EM算法也叫最大期望算法,是求参数的最大似然估计的一种方法。原理:假设要评估参数A和参数B,在开始状态下二者都是未知的,并且知道了A的信息就可以知道B的信息,反过来知道了B的信息也就是知道了A的信息。可以考虑先赋予A某个初值,以此得到B的估值,然后从B的估值出发,重新估计A的取值,这个过程一直持续到收敛为止。
经常应用距离和机器学习领域。
10.PageRank
PageRank 起源于论文影响力的计算方式,如果一篇文论被引入的次数越多,就代表这篇论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中:当一个页面链出的页面越多,说明这个页面的“参考文献”越多,当这个页面被链入的频率越高,说明这个页面被引用的次数越高。基于这个原理,我们可以得到网站的权重划分

数据挖掘的数学原理

1.概率论与数理统计
2.线性代数
3. 图论
4. 最优化方法

总结

读取MNIST Digits 数据集数据挖掘 数据挖掘数据获取_数据