乐胖代购免代理版

数据预处理之降维-PCA和LDA

一、LDA（线型判别分析-Linear Discriminant Analysis）1.基本原理给定训练集样例，设法将样例投影到一条直线上，使得同类样例的投影点尽可能的接近、异类样例的投影点尽可能地远离；在对新样本分类时，将其投影点同样的投影到这条直线上，再根据投影点的位置来确定新样例的位置。LDA的中心思想就是最大化类间距离以及最小化类内距离。图片来源于周志红的《机器学习》 2.LD

算法

机器学习

人工智能

python

数据挖掘

转载 2021-12-01 16:01:05 1339 阅读

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案（二）！

估算问题会经常出现在数据分析、产品、咨询类岗位，统称为费米问题。分析这类问题可以分别从两个角度展开。根据情况，可以采用 Top-down，bottom-up法则，即先从宏观层面，自上而下推，再由某个点横向切入，反推上去。或者也可以从需求层面和供给层面来说。然后可以对比两次推测得到的结果，如果相差不悬殊，那基本就没差啦。然后在陈述的时候也可以需要说几句可能会出现误差的影响因素以及对结果的影响，会显得

微软

stylesheet

silverlight

twitter

nagios

原创 2021-12-01 15:56:42 268 阅读

不得不学的统计学基础知识（二）

python

机器学习

人工智能

数据分析

统计学

转载 2021-12-01 15:50:39 891 阅读

练好数据分析基本功，掌握常用的统计学指标和六大分析方法

前面几讲，我们从数据岗的知识体系出发，学习了常用的SQL语法，复习了统计学的基础知识。今天的分享我们是数据分析岗的最后一讲，着重于分享常用的统计学指标以及数据分析师的常用分析方法。「Pa...

大数据

数据分析

人工智能

编程语言

python

原创 2021-12-01 15:50:07 438 阅读

你真的了解模型评估与选择嘛

前面几讲我们基于数据分析师需要掌握的基本技能，从SQL出发，学习了统计学的基本知识，在系统层面基本讲完了数据分析师需要具备的能力。下面几讲，我们会围绕数据挖掘工程师需具备的知识体系展开，今天会着重介绍机器学习中模型评估与选择的基础知识。01数据集的划分留一法、交叉验证、自助法1.留一法(hold-out)将训练集划分为互斥的两个集合，其中一个作为训练集，另一个作为测试集。（划分比例通常情况下是8：

算法

机器学习

深度学习

数据挖掘

人工智能

转载 2021-12-01 15:34:40 139 阅读

被问到窗口函数不知所措？一文教会你数据分析师常用的窗口函数！

在数据分析中，窗口函数是我们经常用到的函数，今天的文章我们总结了常用的各类窗口函数并给出实例。一.创建数据集from pyspark.sql import SparkSessionimport pandas as pdspark = SparkSession.builder.appName('Windowfunction').enableHiveSupport().getOrCreate()imp

hive

大数据

数据分析

mysql

java

原创 2021-12-01 15:34:13 121 阅读

模型评估与选择之Bias and Variance Tradeoff

模型评估与选择在机器学习领域，人们总是希望使自己的模型尽可能准确地描述数据背后的真实规律。通俗所言的「准确」，其实就是误差小。在领域中，排除人为失误，人们一般会遇到三种误差来源：随机误差、偏差和方差。偏差和方差又与「欠拟合」及「过拟合」紧紧联系在一起。由于随机误差是不可消除的，所以此篇我们讨论在偏差和方差之间的权衡（Bias-Variance Tradeoff）。在机器学习领域，人们总是希望使自己

算法

机器学习

人工智能

深度学习

python

转载 2021-12-01 15:33:37 341 阅读

面试中还说不全数据预处理的方法？看这里，总结好的文档统统送给你！

数据预处理的方法主要包括去除唯一属性、处理缺失值、属性编码、数据标准化正则化、特征选择、主成分分析等，这篇文章将会全面地总结数据预处理的基本方法。一、去除唯一属性唯一属性通常是一些id属...

算法

机器学习

数据分析

python

人工智能

转载 2021-12-01 15:32:36 73 阅读

数据预处理之特征工程概述

何为特征工程呢？顾名思义，就是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。本质上讲，特征工程是一个表示和展现数据的过程；实际工作中，特征工程的目的是去除原始数据中的杂质和冗余，设计更高效的特征以刻画求解的问题与预测模型之间的关系。特征工程的重要性有以下几点：特征越好，灵活性越强。好的特征的灵活性在于它允许你选择不复杂的模型，同时运行速度也更快，也更容易和维护。特征

机器学习

人工智能

数据分析

python

数据挖掘

转载 2021-12-01 15:31:23 216 阅读

还不会搭简单线性模型？看这里，手把手教你实现简单线性模型

本章我们通过简单线性回归模型预测黄金的价格,我们将会从数据读入、数据预处理、数据集划分、模型建立、模型效果验证等方面展开。数据读入及预处理from sklearn.linear_model import LinearRegression# LinearRegression is a machine learning library for linear regressionfrom sklearn

线性回归

数据集

回归分析

sed

数据

转载 2021-12-01 15:30:15 76 阅读

数据预处理之L1,L2正则化

一、L1、L2正则化概述1. L1和L2的定义 L1正则化，又叫Lasso Regression 如下图所示，L1是向量各元素的绝对值之和 L2正则化，又叫Ridge Regression 如下图所示，L2是向量各元素的平方和，然后再求平方根 2.L1和L2的异同点相同点：都用于避免过拟合不同点： 1.L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型

算法

python

机器学习

人工智能

深度学习

转载 2021-12-01 15:29:40 1491 阅读

特征选择方法之Filter,Wrapper,Embedded

Feature Selection 是在模型构建过程中选择最相关、最有利于提高预测效果的特征子集的过程，也是数据预处理的重要步骤之一。什么是特征选择机器学习中的特征选择（Feature Selection）也被称为 Variable Selection 或 Attribute Selection 虽然特征选择和降维（dimensionality reduction）都是为了减少

决策树

机器学习

人工智能

深度学习

算法

转载 2021-12-01 15:29:16 433 阅读

【数模国奖作品解析之一】加拿大各地区温度的时空变化趋势分析

背景全球变暖是地球的大气和海洋因温室效应而造成温度上升的气候变化现象，专业人士认为全球变暖可能导致更多的极端天气的产生，导致全球降水量重新分配、冰川和冻土消融、海平面上升等威胁人类生存的因素，因此全球变暖问题引起了广泛的关注。由于近几年多个局部地区出现了寒潮天气，民众对全球变暖产生了怀疑。因此建立简单易懂的模型帮助非专业人士理解全球气候变化很重要。本文从多个权威网站搜集了多种类型的历史气象

机器学习

数据分析

大数据

统计学

人工智能

原创 2021-12-01 15:28:44 867 阅读

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案！

估算问题会经常出现在数据分析、产品、咨询类岗位，统称为费米问题。分析这类问题可以分别从两个角度展开。根据情况，可以采用 Top-down，bottom-up法则，即先从宏观层面，自上而下推，再由某个点横向切入，反推上去。或者也可以从需求层面和供给层面来说。然后可以对比两次推测得到的结果，如果相差不悬殊，那基本就没差啦。然后在陈述的时候也可以需要说几句可能会出现误差的影响因素以及对结果的影响，会显得

gdal

cuda

silverlight

payment

nagios

原创 2021-12-01 15:28:17 86 阅读

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案（三）！

数据思维的靠考察也体现在各种各样的业务问题中，具体的答案不是要求必须正确，重要的的是分析思路这类练习题不要，多练练思路，多看看平时的新闻报道，掌握一些基本数据sense 就行。下面我们通过几道常见的面试题来说明这类题怎么回答。01如何利用漏斗分析减少电商流失率？（1）分解漏水过程：弄清楚用户从进入网站到购买经历了几个步骤。一般来说用户会经历浏览首页-中间页（分类页、搜索页）-产品页-购物车-结算

数据分析

人工智能

产品经理

大数据

电子商务

原创 2021-12-01 15:28:01 209 阅读

SQL知识大全(一):数据库的语言分类你都知道吗？

公众号：数据万花筒今天是数据库语言分类的第一讲，主要会介绍数据库的四类语言，以及其语法，课程大纲详见脑图。数据库定义语言数据库定义语言(DDL，Data Definition Language)是负责数据的模式定义与数据的物理存取构建，主要包括CREATE建表语句，ALTER 更新表结构语句，DROP 删除语句，DECLARE 创建游标。CREATE建表语句创建一张名为OrderItems的空表C

数据库

mysql

sql

css

编程语言

原创 2021-12-01 15:25:15 157 阅读

学好SQL，数据分析就已经入门一半

SQL是所有数据方向的必备技能，也是比较容易学的技能，概括起来就是增删改查。SQL需要掌握的知识点主要包括数据的定义语言、数据的操纵语言以及数据的控制语言；在数据的操纵语言中，理解SQL的执行顺序和语法顺序，熟练掌握SQL中的重要函数，理解SQL中各种join的异同。本篇文章整理了网友们的知乎、博客等资源，引用部分已经在原文标出，并且参考链接已经附在文末，欢迎大家参考原文。一、 SQL的三种数据

mysql

sql

数据库

python

数据

原创 2021-12-01 15:23:29 122 阅读

Python入门教程(三):史上最全的Numpy计算函数总结，建议收藏！

点击上方蓝字关注我们Numpy提供了灵活的、静态类型的、可编译的程序接口口来优化数组的计算，也被称作向量操作，因此在Python数据科学界Numpy显得尤为重要。Numpy的向量操作...

css

mapreduce

jdbc

hash

dfs

原创 2021-12-01 15:07:53 165 阅读

Python入门教程(一):初识Numpy

点击上方蓝字关注我们！Numpy是Python中较为常用的模块，今天我们就从Numpy的基础应用讲起，非常适合0基础的小白哦，python系列的基础课程也会持续更新。首先，我们在运用...

列表

python

数据分析

编程语言

人工智能

原创 2021-12-01 15:02:31 132 阅读

正在转行数据岗位的你是不是也遇到了Linux相关的问题？一套完整的知识体系送给你！...

这次和大家分享的是 Linux 系列的思维导图。前 3 幅是 Linux 的基础部分，后 3 幅则是 Shell 编程。1基础知识2文件目录3文件处理4shell脚本(一)5shell脚本(二)6shell脚本(三)

mysql

jdbc

epoll

css

编程语言

转载 2021-12-01 14:59:28 12 阅读

Python入门教程(二):Numpy数组基础

点击上方蓝字关注我们本文代码已经整理到百度网盘，领取方式详见文末！Python中的数组操作几乎等同于Numpy数组操作，今天我们会展示用Numpy数组操作获取数据或者子数组，对数组进行分...

列表

numpy

epoll

timezone

css3

原创 2021-12-01 14:59:05 200 阅读

Python入门教程(四):用Python实现SQL中的分组聚合

点击上方蓝字关注我们我们先假设一个场景，当你面对大量数据时，你想要得出一个整体的数据概况，你会去怎么去做？对于我来说呢，如果面对大量数据时，我会去计算相关数据的概括统计值，包括均值，...

python

数据分析

数据可视化

人工智能

编程语言

原创 2021-12-01 14:58:40 160 阅读

不得不学的统计学基础知识（一）

统计学是数据分析必须掌握的基础知识，它是通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会科学和自然科学的各个领域，而在数据量极大的互联网领域也不例外，因此扎实的统计学基础是一个优秀的数据分析师必备的技能。统计学的知识包括了图形信息化、数据的集中趋势、概率计算、排列组合、连续型概率分

概率论

统计学

数据分析

线性代数

矩阵

原创 2021-12-01 14:58:34 823 阅读

Python入门教程(六):Numpy计算之布尔运算

点击上方蓝字关注我们‍‍‍‍‍什么是布尔运算？布尔运算是一种关系运算，包括以下几类：对于布尔类型boolean，永远只有true和false两个值。比较运算符：>，>=，...

python

编程语言

数据分析

java

人工智能

原创 2021-12-01 14:58:19 3054 阅读

Python入门教程(五):Numpy计算之广播

点击上方蓝字关注我们广播(broadcasting)是通用函数另一个非常有用的功能，它能够操纵不同大小和形状的数组，这就是我们所说的广播。01广播简介对于同样大小的数组，二元运算符是...

python

人工智能

编程语言

数据分析

numpy

原创 2021-12-01 14:57:53 536 阅读

用数据来看马拉多纳究竟有多么闪耀！！！

点击上方蓝字关注我们阿根廷“一代球王”马拉多纳因心脏骤停辞世，享年60岁。对全球足球迷来说，不管是否喜欢，他的一生只可以用“传奇”二字形容，我们通过一个简短的视频回顾下马拉多纳的精彩...

twitter

微软

nagios

cisco

sms

原创 2021-12-01 14:37:00 195 阅读

数据人必会的Excel|学会这些统计函数，让你的工作效率加倍！！

点击上方蓝字关注我们上一期小编已经把整理好的Excel各类函数分享给大家了，从这一期开始，我们会具体的讲解每一个函数的用法。我们选取了公共数据集——著名的鸢尾花数据集（iris数据集...

数据分析

编程语言

excel

正则表达式

python

原创 2021-12-01 14:36:39 113 阅读

数据人必会的Excel|还在给老板看苍白无力的数据？有了这份Excel炫酷的报表，还愁不升职加薪？

点击上方蓝字关注我们文末有数据以及DashBoard的领取方式。当老板向你要一份数据的时候，你给出去的还是这样一份苍白无力的原始数据？老板们从这份苍白无力的数据看不出任何想要的信息，...

可视化

数据可视化

数据分析

人工智能

编程语言

原创 2021-12-01 14:35:52 187 阅读

杂谈|数据分析虽火但并不适合每一个人！浅谈如何利用自身优势转行数据分析

文章来源：公众号数据万花筒文章链接：杂谈|数据分析虽火但并不适合每一个人！浅谈如何利用自身优势转行数据分析杂谈|数据分析虽

数据分析

大数据

机器学习

数据

知识体系

原创 2021-12-01 13:40:56 55 阅读

【图解贝叶斯】用最简单的方法教会你用贝叶斯推理分辨“买东西的人”和“随便逛逛的人”...

点击上方蓝字关注我们引言贝叶斯推理是用先验概率推测后验概率的一种方法，也是笔试面试当中最常见的题型之一。首先，我们先来假设一个场景，假如你是商店售货员，你知道80%顾客只是进店随便逛...

人工智能

统计学

数据可视化

twitter

ai

原创 2021-12-01 13:33:27 194 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx61a1953d3e6ea的博客

数据预处理之降维-PCA和LDA

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案（二）！

不得不学的统计学基础知识（二）

练好数据分析基本功，掌握常用的统计学指标和六大分析方法

你真的了解模型评估与选择嘛

被问到窗口函数不知所措？一文教会你数据分析师常用的窗口函数！

模型评估与选择之Bias and Variance Tradeoff

面试中还说不全数据预处理的方法？看这里，总结好的文档统统送给你！

数据预处理之特征工程概述

还不会搭简单线性模型？看这里，手把手教你实现简单线性模型

数据预处理之L1,L2正则化

特征选择方法之Filter,Wrapper,Embedded

【数模国奖作品解析之一】加拿大各地区温度的时空变化趋势分析

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案！

没有数据思维，却不知道怎么培养？这些面试题给你想要的答案（三）！

SQL知识大全(一):数据库的语言分类你都知道吗？

学好SQL，数据分析就已经入门一半

Python入门教程(三):史上最全的Numpy计算函数总结，建议收藏！

Python入门教程(一):初识Numpy

正在转行数据岗位的你是不是也遇到了Linux相关的问题？一套完整的知识体系送给你！...

Python入门教程(二):Numpy数组基础

Python入门教程(四):用Python实现SQL中的分组聚合

不得不学的统计学基础知识（一）

Python入门教程(六):Numpy计算之布尔运算

Python入门教程(五):Numpy计算之广播

用数据来看马拉多纳究竟有多么闪耀！！！

数据人必会的Excel|学会这些统计函数，让你的工作效率加倍！！

数据人必会的Excel|还在给老板看苍白无力的数据？有了这份Excel炫酷的报表，还愁不升职加薪？

杂谈|数据分析虽火但并不适合每一个人！浅谈如何利用自身优势转行数据分析

【图解贝叶斯】用最简单的方法教会你用贝叶斯推理分辨“买东西的人”和“随便逛逛的人”...

欢迎