一、偏差bias和方差variance简书中记录回归分析1.回归任务： 对于下面图中的数据，我们希望寻找一个函数来拟合这些数据，也就是回归任务：我们尝试使用一次、二次直至五次的函数集来拟合一个简单的回归问题，在实验过程中发现对于低阶的函数效果不是太好，增加函数的复杂度后效果有了好转，但当函数过于复杂时，效果又会变差：事实上模型的损失主要来自两个方面：偏差（bias）和方差（variance）。以打
Transformer采用自注意力机制，与一般注意力机制计算分配值的方法基本相同，原理可参考 只是！Query的来源不同，一般AM中的query来源于目标语句，而self-AM的query来源于源语句本身。Encoder模块中自注意力机制计算步骤如下：把输入单词转换为带时序信息的嵌入向量 x（源单词的词嵌入 + 对应的Position Encoding）；根据嵌入向量 x 生成 q、k、v 三个
转载
2024-03-17 14:04:01
536阅读
在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。在之前的文章中，我曾写过一篇<15分钟带你入门sklearn与机器学习——分类算法篇>。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。那么，如何为这些回归问题选择最合适的机器
众所周知，bert预训练有加入了两个下游任务进行训练，分别是next sentence prediction和mask prediction。next sentence prediction：输入[CLS]a[SEP]b[SEP]，预测b是否为a的下一句，即二分类问题；mask prediction：输入[CLS]我 mask 中 mask 天 安 门[SEP]，预测句子的mask，多分类问题一直
transformer中decoder和encoder是非常像的。先假设decoder是一个独立的块，研究它的输入和输出。一、Autoregressive（自回归）如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称
将用户行为表示为二分图模型。假设给用户\(u\)进行个性化推荐，要计算所有节点相对于用户\(u\)的相关度，则PersonalRank从用户\(u\)对应的节点开始游走，每到一个节点都以\(1-d\)的概率停止游走并从\(u\)重新开始，或者以\(d\)的概率继续游走，从当前节点指向的节点中按照均匀分布随机选择一个节点往下游走。这样经过很多轮游走之后，每个顶点被访问到的概率也会收敛趋于稳定，这个时
继204年rcnn，2015年SPPnet、fast rcnn后，2016年，hekaiming和rbg合作提出了faster rcnn(一作是renshaoqing)，以解决region proposal的耗时问题；回顾一下fast rcnn的过程，先通过selective search在每张图片选2k个region proposal，将原图通过cnn得到feature map，然后通过SPP或
导语如我们在第二章中提到的，有监督学习主要分为回归问题和分类问题。之前的章节我们已经介绍过一元线性回归问题，多元线性回归问题，从本章开始我们将进入另一个方向——分类问题 (Classification)。1. 什么是分类问题？分类问题主要针对“是不是”和“有没有”的问题，大致分为：二分类问题：比如猫狗识别，判断一张图片中是猫还是狗（是不是）多分类问题：比如阿拉伯数字识别，判断一张图片中的数字是几（
- 引言这个问题提出的原因：MVU估计量即使存在可能也无法求出。比如：有些情况下，可能并不知道数据的PDF；或知道噪声的矩统计量。这些请况下，依赖于CRLB以及充分统计量就不可用，而且充分统计量的方法也无法保证得到的估计量是最佳的MVU估计量。要得到最佳MVU估计量，就有必要取寻找准最佳MVU估计量。若准最佳MVU估计量的方差可确定，且满足当前估计问题的需求，那么可认定它可用；若不可用，则需要寻找
写在前面：打算记录一下很常见的backbone网络，本篇博客用于记录自己ResNet网络的学习过程。 论文传送门：Deep Residual Learning for Image Recognition一、ResNet网络做了什么1、提出 Residual 结构（残差结构），并搭建超深的网络结构 我们在搭建更深层网络时，并不是简单堆叠就能取得比较好的效果的。 如上图，56层的网络效果反而更差，这是
线性回归
LinearRegression多项式回归
PolynomialFeatures支持向量回归
SVR决策树回归
DecisionTreeRegressor随机森林回归
RandomForestRegressorLASSO回归
LassoCV岭回归
RidgeCVElasticNet回归
ElasticNetCVXGBoost回归
XG
转载
2024-03-20 20:25:57
133阅读
数据源：modis的MOD9A1产品，分辨率500m，合成周期为8天NDVI（归一化植被指数）计算公式：NDVI=(NIR-R)/(NIR+R)，其中NIR为近红外波段，R为红光波段，分别对应MODIS第2和第1波段。NDBI（归一化建筑指数）计算公式：NDBI=(M IR - N IR ) /(M IR + N IR )，其中MIR为中红外波段，NIR为近红外波段，分别对应MODIS第6和第1波
自然科学中的生成模型已经取得了巨大进步，但它们的可控性仍然具有挑战性。分子、蛋白质生成模型的一个巨大缺陷是缺少连续属性的归纳偏差。IBM 欧洲研究院和苏黎世联邦理工学院的研究人员提出了 Regression Transformer（RT），这是一种将回归抽象为条件序列建模问题的方法。这为多任务语言模型引入了一个新方向——无缝桥接序列回归和条件序列生成。尽管该团队使用了限定规模的训练目标，但是 RT
1.常用的回归模型评估指标平均绝对误差 Mean Absolute Error(MAE)MAE用来描述预测值和真实值的差值。数值越小越好。假设??是真实值，??是相对应的预测值，则n个样本的MAE可由下式出给：???=1?∑?=1?|??−??|MAE优缺点：虽然平均绝对误差能够获得一个评价值，但是你并不知道这个值代表模型拟合是优还是劣，只有通过对比才能达到效果。均方误差 Mean Squared
一、如何学习回归分析？1.学习回归分析之前，我们需要先明白什么是回归分析? 为什么要学习回归分析？简单线性回归初中时期，我们都学习过简单的线性方程。例如，一元一次方程、一元二次方程等。这些简单的线性方程就是回归分析中线性回归的一种体现，通过线性回归方程，我们可以输入一个自变量得到一个预测的因变量。简单线性回归的自变量和因变量也被称为特征和标签。因为线性回归具有预测功能，所以线性回归时常运用到生活当
转载
2023-11-21 19:09:23
65阅读
本文记录线性回归的一般步骤，并不会详细介绍原理。第二章单变量线性回归和第六章多变量线性回归。1. 线性回归：可以简单理解为就是为就是找一条线来拟合我们已有的数据集。数据集一般包括x和y，x如果只是一个数则为单变量线性回归，如果x很多则为多变量线性回归。 表达式中h即y, X即x, theta就是我们需要确定的系数。举个例子：比如我给你一组数据，包括x(房屋的大小size)和y(房屋的价格price
原始数据输入spass：View Code 0.25 1200.000.30 1000.000.35 900.000.40 800.000.45 700.000.50 600.000.55 550.000.60 500.000.65 450.000.70 400.000.75 350.000.80 300.000.85 250.000.90 200.000.95 150.001.00 100.00然后进行回归分析：把自变量和因变量拖进相关行，点击确定：双击自动产生的回归图：双击曲线，就出现属性窗口，最后就看到拟合方程了：ok！就是这样！
转载
2011-08-12 15:30:00
134阅读
2评论
使用 tensorflow.keras 进行逻辑回归1. 加载数据2. 可视化数据3. 创建模型4. 开始训练5. 使用训练好的模型进行预测6. 完整源代码附录1. 关于 全连接层[`tf.keras.layers.Dense()`](https://tensorflow.google.cn/api_docs/python/tf/keras/layers/Dense?hl=zh-CN)1. 关于
1. 图卷积网络1.1. 为什么会出现图卷积网络普通卷积神经网络研究的对象是具备Euclidean domains的数据，Euclidean domains data数据最显著的特征是他们具有规则的空间结构，如图片是规则的正方形，语音是规则的一维序列等，这些特征都可以用一维或二维的矩阵来表示，卷积神经网络处理起来比较高效。然而，现实生活中很多数据不具备规则的空间结构，称为Non Euclidean
目录1、回归的定义2、回归的例子3、建模步骤1）模型假设，选择模型框架（线性模型）2）模型评估，如何判断众多模型的好坏（损失函数）3）模型优化，如何筛选最优的模型（梯度下降）4、步骤优化1）向量化Vectorization2）引入更多参数，更多input3）优化：引入正则化Regularization1、回归的定义回归官方定义：指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…
