一， 回归大家庭1. 线性回归1.1 线性回归的概念：线性回归就是利用线性回归方程的最小二乘函数对一个或多个自变量和因变量之间的关系进行建模的方法，通俗的说就是通过大量样本的训练，通过有监督的学习找到一个X到Y的映射关系，利用该关系对未知数据进行预测，经常用于房价预测等方面，之所以把其分类到回归问题是因为我们所预测的Y值是连续值。1.2 线性回归的数学形式表达n 为 样本总数 X 为 样本特征 Y
关于deep Learningbook第五章120页5.71和5.72的有关解释： 这个问题的研究思路是我们拿到一组数据后数据本身中包含着概率密度函数，但是这个函数的形式我们是不清楚的，所以要使用概率密度分布的方法从数据中估算出来，在这个过程需要求得的两个是：概率密度函数的形式（高斯分布、瑞利分布）和概率密度函数的参数（均值、方差）。 求解首先要知道数据本身是连续还是离散的，也就是要把数据是否
（参考资料：菜菜的sklearn）重要参数，属性及接口criterion 1)输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失 。 2）输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差 3）输入"mae
一 综述 由于逻辑回归和朴素贝叶斯分类器都采用了极大似然法进行参数估计，所以它们会被经常用来对比。(另一对经常做对比的是逻辑回归和SVM，因为它们都是通过建立一个超平面来实现分类的)本文主要介绍这两种分类器的相同点和不同点。二.两者的不同点1.两者比较明显的不同之处在于，逻辑回归属于判别式模型，而朴素贝叶斯属于生成式模型。具体来说，两者的目标虽然都是最大化后验概率，但是逻辑回归是直接对后验概率P
一、学习内容k近邻（KNN）决策树线性回归逻辑斯蒂回归朴素贝叶斯支持向量机（SVM）K-Means二、算法代码k近邻（KNN）# -*- coding: UTF-8 -*-
import numpy as np
"""
函数说明:打开并解析文件，对数据进行分类：1代表不喜欢,2代表魅力一般,3代表极具魅力
Parameters:
filename - 文件名
Returns:
r
贝叶斯回归是一种统计方法，它利用贝叶斯定理来更新对回归参数的估计。这种方法不仅考虑了数据的不确定性，还考虑了模型参数的不确定性，为预测提供了一个更加全面的框架。在本文中，我们将深入探讨贝叶斯回归的基本概念、如何实现它以及它与传统回归方法之间的区别。贝叶斯回归的基本原理贝叶斯回归基于贝叶斯定理，这是一种计算条件概率的方法。在回归分析的背景下，条件概率用于表示在给定数据D的情况下，模型参数θ的概率。贝
本节内容： 1、混合高斯模型；文本聚类） 3、结合EM算法，讨论因子分析算法； 4、高斯分布的有用性质。 混合高斯模型将一般化的EM算法流程（下载笔记）应用到混合高斯模型因子
朴素贝叶斯分类器朴素贝叶斯分类器的训练速度比线性模型更快。这种高效率所付出的代价是，朴素贝叶斯模型的泛化能力要比线性分类器（如 LogisticRegression 和 LinearSVC）稍差。朴素贝叶斯模型如此高效的原因在于，它通过单独查看每个特征来学习参数，并从每个特征中收集简单的类别统计数据。scikit-learn 中实现了三种朴素贝叶斯分类器：GaussianNB、BernoulliN
原理知道一百遍不如自己动手写一遍，当然，现在基本上不需要自己来写算法的底层code了，各路大神们已经为我等凡夫俗子写好了，直接调用就行。这里介绍在MATLAB中和Python中应用贝叶斯算法的小例子。一、 matlab实现朴素贝叶斯算法先load matlab中自带的数据集load fisheriris
X = meas(:,3:4);
Y = species;
tabulate(Y)%返回概率表
1 协方差矩阵1n维随机变量 协方差矩阵为： 基函数，将输入投影到p维空间中 系数向量 瞬时相应可建模为：高斯过程回归是概率模型，每个观察值都会引入一个潜在变量，使GPR为非参数模型 向量形式为： 潜在变量的联合分布为：5 贝叶斯回归样本集合D：训练集的后验概率，即新集合的先验概率：新数据的似然贝叶斯回归的过程是一个样本点逐步增加到学习器的过程，前一个样本点的后验会被下一次估计当作先验，贝叶斯学习
朴素贝叶斯 全概率公式： 例子参考这里：优缺点优点： (1） 算法逻辑简单,易于实现（算法思路很简单，只要使用贝叶斯公式转化即可！） （2）分类过程中时空开销小（假设特征相互独立，只会涉及到二维存储） 缺点： 朴素贝叶斯假设属性之间相互独立，这种假设在实际过程中往往是不成立的。在属性之间相关性越大，分类误差也就越大。类型高斯分布型：先验为高斯分布（正态分布）的朴素贝叶斯，假设每个标签的数据都服从简
朴素贝叶斯是一个很不错的分类器，在使用朴素贝叶斯分类器划分邮件有关于朴素贝叶斯的简单介绍。若一个样本有n个特征，分别用x1,x2,…,xn表示，将其划分到类yk的可能性P(yk|x1,x2,…,xn)为：P(yk|x1,x2,…,xn)=P(yk)∏ni=1P(xi|yk)上式中等号右侧的各个值可以通过训练得到。根据上面的公式可以求的某个数据属于各个分类的可能性（这些可能性之和不一定是1），该数据
一、朴素贝叶斯二、决策树三、逻辑（Logistic）回归四、线性回归五、KNN算法（最邻近算法）六、SVM七：聚类算法八：Apriori算法（频繁项挖掘算法）九：EM（最大期望算法）十：分类回归算法朴素贝叶斯算法一、贝叶斯算法归属于分类算法贝叶斯分类是一类算法的总称，这类算法均已贝叶斯定理为基础。故统称为贝叶斯分类。朴素贝叶斯分类是贝叶斯分类中最简单、最常见的一种分类方法。分类的定义：已知集合和，
1. 决策树1.1 简单介绍树模型：决策树：从根节点开始一步步走到叶子节点（决策）所有的数据最终都会落到叶子节点，既可以做分类也可以做回归回归树：就是用树模型做回归问题，每一片叶子都输出一个预测值。预测值一般是该片叶子所含训练集元素输出的均值树的组成根节点：第一个选择点非叶子节点与分支：中间过程叶子节点：最终的决策结果决策树的训练与测试训练阶段：从给定的训练集构造出来一棵树测试阶段：根据构造出来的
一、贝叶斯定理数学基础 我们都知道条件概率的数学公式形式为 即B发生的条件下A发生的概率等于A和B同时发生的概率除以B发生的概率。 根据此公式变换，得到贝叶斯公式： 即贝叶斯定律是关于随机事件A和B的条件概率（或边缘概率）的一则定律。通常，事件A在事件B发生的条件溪的概率，与事件B在事件A的条件下的概率是不一样的，而贝叶斯定律就是描述二者之间的关系的。 更进一步将贝叶斯公式
转载
2023-11-29 13:15:04
48阅读
文章目录1.线性回归1.1 背景1.2 思维导图1.3 贝叶斯估计与最小二乘法的区别2. 贝叶斯方法2.1 inference 和 prediction2.2 inference2.2.1 求解 P(W|data)的参数2.2.2 inference 结论2.3 Prediction2.3.1 模型2.3.2 Prediction 结论3. 综述思路总结3.1 背景3.2 Inference3.
代码地址：https://github.com/ChengJiacheng/bayesian-analysis/blob/master/LR.py线性回归是统计学习中的常见问题，即求解线性模型y=α+βx中的参数α、β。通常的做法是最小二乘法（最小均方误差法），将参数估计问题（the problem of estimating α and β）转化成了一个最优化问题（an optimization
转载
2023-11-15 15:21:01
79阅读
简介贝叶斯网络(Bayesian network)，又称信念网络(belief network)或是有向无环图模型(directed acyclic graphical model)，是一种概率图型模型，借由有向无环图(directed acyclic graphs, or DAGs )中得知一组随
参考：https://github.com/apachecn/vt-cs4624-pyml-zh/blob/master/docs/12.md逻辑回归 概念：一种二分类方法。目的是将输入映射到sigmoid函数上，进行二分类。 原理： &
概述概率在现代机器学习模型中起着重要的作用。然而我们会发现，使用概率分布的图形表示进行分析很有好处。这种概率分布的图形表示被称为概率图模型（probabilistic graphical models）。概率模型的这种图形表示有如下性质：它们提供了一种简单的方式将概率模型的结构可视化，可以用于设计新的模型。通过观察图形，我们可以更深刻地认识模型的性质，如条件独立性。在复杂模型中，复杂的计算可以表示
转载
2023-10-15 08:55:19
226阅读
