作者：James D. Miller;本文将介绍数据清洗过程的主要步骤，并通过案例和代码演示如何利用R语言进行数据清洗。R是进行运算、清洗、汇总及生成概率统计等数据处理的一个绝佳选择。此外，由于它独立于平台、短期内不会消失，所以生成的程序可以在任何地方运行。并且，它具备非常棒的辅助资源。 本文摘录自James D.Miller撰写的《数据科学统计学》（Statistics for Dat
转载
2023-08-01 21:41:14
0阅读
终于有那么一丢丢时间，可以来把关于R语言编程的工作梳理一下。总体来说，工作内容主要是将公司已有的excel模板的数据分析内容转为R语言形式，目前写了四个产品的数据清洗和分析代码。在这中间，学习到了很多新知识。对接下来，编程之路的走向有了初步的规划。对数据分析这块也增加了认识吧。关于新知识：1、较大数据的处理来说，学习了data.table包，感觉是非常强大的。所做的工作是将之前基于data fra
转载
2023-11-17 20:33:43
46阅读
作者简介 杜雨 数据处理在数据分析流程中的地位相信大家都有目共睹，也是每一个数据从业者面临的最为繁重的工作任务。在实际应用场景下，虽然SQL（SQL类专业的etl语言）是数据处理的首选明星语言，性能佳、效率高、容易培养数据思维，但是SQL没法处理构建全流程的数据任务，之后仍然需要借助其他数据分析工具来对接更为深入的分析任务。R语言作为专业的统计计算语言，数据处理是其一大特色功能，事实上每一个
转载
2023-09-14 09:35:06
80阅读
R语言如何对dataframe数据进行标准化缩放？目录R语言如何对dataframe数据进行标准化缩放？R语言是解决什么问题的？R语言如何对dataframe数据进行标准化缩放？R语言是解决什么问题的？R 是一个有着统计分析功能及强大作图功能的软件系统，是由奥克兰大学统计学系的Ross Ihaka 和 Robert Gentleman 共同创立。由于R 受Becker, Chambers &
转载
2023-09-12 11:22:02
60阅读
OverviewIris data analysis作为应届生/转行者入行数据分析与建模的第一个案例，不论你是否有实操分析过，但对Iris项目和数据一定不会陌生，本次一条案例带大家使用分析软件R穿透性分析Iris data这个项目。Iris data项目也叫做Fisher's Iris data 或者Anderson's Iris data，这些数据是由Edgar Anderson 和 Gaspe
转载
2023-08-01 18:03:05
378阅读
论文题目： Rich feature hierarchies for accurate object detection and semantic segmentation 第一个成功将深度学习应用到目标检测上的算法 论文框架： Abstract 1.效果： 将mAP在VOC2012最好结果的基础上提高30%以上——达到了53.3%。2.解决的问题： 在PASCAL数据集上，物体检测的效
转载
2023-12-17 13:18:51
53阅读
R语言数据挖掘与实战一、数据探索通过检验数据集的数据质量、绘制图表、计算某些特质量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。1.1 数据质量分析数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般是指不符合要求，以及不能直接进行相应分析的数据，在常见的数据挖掘工作中，脏数据包括：缺失值异常值不一致的值重复数据及含有特殊符号（如#,￥、*）的数据。1.1.1 缺失值分析
转载
2023-10-18 09:04:32
137阅读
第四章—数据预处理4.1数据清洗1.缺失值处理2.异常值处理4.2数据集成1.实体识别2.冗余属性识别4.3 数据变换1.简单函数变换2.规范化3.连续属性离散化4.属性构造4.4数据规约1.属性规约——属性子集选择2.属性规约——维度规约3.数值规约4.参数回归第四章—数据预处理目的提高数据质量。让数据更好的适应特定的分析技术或模型。常见的步骤4.1数据清洗1.缺失值处理删除法&nb
转载
2023-06-07 12:23:24
206阅读
目录1.载入R包2.利用AnnoProbe下载GEO数据库中的数据3.提取表达矩阵和临床信息4.输出文件1.获得GEO数据库中的数据下面以GSE14520数据系为例：获得GEO数据库中的数据总体上分为两种办法：1.从GEO数据库中下载；2.用R包下载（1）从GEO数据库中下载进入GEO网站，找到对应的Series Matrix File(s)即表达矩阵进行下载，保存到本地进行加载。 在R
转载
2023-06-21 10:40:21
2762阅读
本来不想再写这个教程了，因为前面已经写过很多了，也说过R包TableOne。但是这个R包真是太牛了，可以很轻松的制作出SCI论文表一（基线资料表）和表二（单因素分析表），也能轻松做出sci论文中多个模型比较的表三（多因素分析表），还可以做出线性趋势（P for trend），可以毫不夸张的说，使用好这个R包，你可以写一篇简单的SCI论文了，下面的表格都可以通过compareGroups包轻松制作出
转载
2023-12-22 11:10:37
35阅读
janitor功能介绍janitor可以检查并清理脏数据，适用于R语言用户。主要功能如下： 1、完美格式化数据框的列名； 2、创建并格式化1-3个变量的频率表，可以看作是一个改进的table()函数； 3、提供用于清理和检查数据框的其他工具制表和报告功能类似于SPSS和excel的常用功能。janitor是一个对标tidyverse的包。具体来讲，它与%>%这一pipeline配合的很好，并
前言数据挖掘自产生以来就是以分析数据、理解数据的实际需求为推动力的，其研究发展也逐步渗透到工业、农业、医疗卫生和商业的实际需求当中。R语言是在S语言的基础上逐步衍生出来的致力于数据统计分析与制图的语言。目前开源软件R也成为了世界上最流行的数据分析和处理工具之一，在学术研究和商业应用中都得到了广大数据分析者的青睐。本书不是一本入门指导书，没有详细介绍数据挖掘技术的概念和理论，也没有介绍
转载
2023-12-30 20:31:16
3阅读
R语言：噪声数据处理正文 噪声是一个测量变量中的随机错误或偏差，包括错误值或偏离期望的孤立点值。在R中可以通过调用outliers软件包中的outlier函数寻找噪声数据，该函数通过寻找数据集中与其他观测值及均值差距最大的点作为异常值，函数的主要形式为：outlier(x, opposite = FALSE, logical = FALSE) 其中，x表示一个数据，通常是一个向量，如果x输入的
转载
2023-06-21 20:01:37
95阅读
专注系列化、高质量的R语言教程（本号已支持快捷转载，无需白名单即可转载）栅格数据能不能对齐主要看它们如下几何信息是否保持一致：地理/投影坐标（projection）原点（origin）范围（extent）行、列数（nnumber of rows and columns）分辨率（resolution）如果上述信息存在不一致，栅格数据就会对不齐，从而影响后续操作。关于坐标系可参见如下几篇推文：rast
内容简介：本文主要聚焦于R语言中tidyverse、dplyr、ggplot2、stringr等包进行数据处理及可视化的应用
目录
习题一：探索nycflights13数据集习题二：探索diamonds数据集习题三：探索babynames数据集习题四：探索words数据集习题五：探索官方package数据集 习题一：探索nycflights13数据集【1】、从flights数据中找
转载
2023-08-21 14:12:26
321阅读
鸢尾花卉数据集Iris是一类多重变量分析的数据集通过花萼长度，花萼宽度，花瓣长度，花瓣宽度4个属性预测鸢尾花卉属于（Setosa，Versicolour，Virginica）三个种类中的哪一类 针对iris数据集实践决策树算法(C4.5、C5.0)，并用交叉矩阵评估模型 iris数据RStudio系统自带 Gary<
转载
2023-08-09 20:29:03
859阅读
简介R语言中，自身已经带有了强大的数据处理、数据计算等方面的函数。 虽然，对于大规模的数据集合，处理过程可能会不如Python快，但是小规模的数据处理，R语言使用起来仍然会更方便。值得注意的是，为了执行效率，我们要尽量避免在R语言中，使用循环函数，而是要运用向量化的处理函数，即R语言Base基础包中，当然，记得apply家族的那么多函数以及不同的用法是一件麻烦的事情，于是类似plyr，dplyr，
目录系列文章为什么要用当Swamy Arora估计？案例计算原理R语言实现解读tips 为什么要用当Swamy Arora估计？样本量较小（这显然是具有一些特征的定量研究）且面板不平衡时，Swamy-Arora（SA）估计量优于默认随机效应模型。 什么是不平衡面板就不细说了，网上一搜一大堆解释……案例还是之前的数据，提供一种在R中包导入数据的功能。install.packages("Ecdat"
转载
2023-10-11 15:31:38
157阅读
RBG大佬的论文<Rich feature hierarchies for accurate object detection and semantic segmentation>素质三连1.论文贡献提出R-CNN(Regions with CNN features)算法，这是一个两阶段目标检测算法。关键点 ：1)使用selective search生成region proposals
转载
2023-11-07 11:03:01
52阅读
简介在查阅文献的过程中，看到了几幅非常不错的出版图，今天就跟着小编一起学习下，他们是怎么使用 R 绘制出来的。今天主要介绍 第四幅图（D) —— 实现双 Y 轴，并且添加坐标轴的微小刻度线。这个图在科研绘图中较为常用，例如：将算法的收敛情况和计算所耗时间同时绘制。 主要知识点实现双 Y 轴；学会修改坐标轴为对数尺度；添加坐标轴的微小刻度线。绘图加载包首先加载一些需要使用到的包。libra
转载
2023-12-28 13:31:38
46阅读
