数据挖掘基本流程

数据挖掘基本流程：
  1. 商业理解：从商业的角度理解项目需求，通过数据挖掘来帮助业务。
  2. 数据理解：尝试手机部分数据，对其进行探索，从而对数据有个初步认知。
  3. 数据准备：收集数据并对其清洗、集成等操作，完成数据挖掘前的准备。
  4. 模型建立：选择和应用各种算法模型，并进行优化，以得到更好分类结果。
  5. 模型评估：对模型进行评价，并检查模型的每个步骤，确认模型是否实现商业目标。
  6. 上线发布：通过数据挖掘找到的隐藏点需要转化成用户可以使用的方式或带来业务上的提升。
数据挖掘十大算法：
  • 分类算法：C4.5，朴素贝叶斯（Naive Bayes），SVM，KNN，Adaboost，CART
  • 聚类算法：K-Means，EM
  • 关联分析：Apriori
  • 连接分析：PageRank
  1. C4.5
    为决策树的一种，特点是能在决策树构建过程中进行剪枝，并能处理连续属性，也能处理不完整数据。
  2. 朴素贝叶斯
    概率论的思想，对未知物体进行分类，求解出这个未知物体出现条件下各个类别出现概率，最终归类为最大概率所对应的类别。
  3. SVM
    建立超平面
  4. KNN
    每个样本都可以用它最邻近的K个样本来代表。
  5. AdaBoost
    构建分类器的提升算法，可将多个弱分类器组成一个强分类器。
  6. CART
    决策树的一种，分类回归树。
  7. Apriori
    是一种挖掘关联规则的算法，通过挖掘频繁项集来揭示物品之间的关联关系，广泛应用于商业挖掘和网络安全等领域。频繁项集是指经常出现在一起的物品集合，关联规则暗示着两种物品之间可能存在很强的关系。
  8. K-Means
    属于聚类算法，计算新点与K个中心点的距离，归类为距离最近的类别。
  9. EM
    最大期望算法，求参数的最大似然估计。原理：假设我们想要评估参数A和参数B，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某个初值，以此得到B的估值，然后从B的估值出发，重新估计A的取值，这个过程一直持续到收敛为止。
  10. PageRank
    PageRank起源于论文影响力的计算方式，如果一篇文论被引入的次数越多，就代表这篇论文的影响力越强。同样PageRank被Google创造性地应用到了网页权重的计算中：当一个页面链出的页面越多，说明这个页面的“参考文献”越多，当这个页面被链入的频率越高，说明这个页面被引用的次数越高。基于这个原理，我们可以得到网站的权重划分。
数据挖掘的数学原理：
  1. 概率论与数理统计
    是数据挖掘的重要数学基础
  2. 线性代数
    向量、矩阵的各种运算
  3. 图论
    图论对网络结构的分析十分有效，同时还可用于关系挖掘和图像分割
  4. 最优化方法
    用最短的时间收敛和取得更好的效果