使用readr进行数据导入
导入数据的方法有很多,相信大家也已经有了自己习惯的方法,所以本节的内容只是给大家提供一个选择。所谓技多不压身!本节较多理论性的东西,大家也可以酌情跳过!
7.1 简介
本章将学习如何将纯文本格式的矩形文件读入 R。虽然本章内容只是数据导入的冰山一角,但其中的原则完全适用于其他类型的数据。本章末尾将提供 一些有用的 R 包,以处理其他类型的数据。
7.2 入门
readr
的多数函数用于将平面文件转换为数据框。
• read_csv()
读取逗号
分隔文件、read_csv2()
读取分号
分隔文件、read_tsv()
读取制表符
分隔文件、read_delim()
可以读取使用任意分隔符
的文件。
• read_fwf()
读取固定宽度
的文件。既可以使用 fwf_widths()
函数按照宽度来设定域,也可以使用 fwf_positions()
函数按照位置来设定域。read_table()
读取固定宽度文件的一种常用变体,其中使用空白字符来分隔各列。
• read_log()
读取 Apache 风格的日志文件。(但需要检查是否安装了 webreadr
包,(https:// github.com/Ironholds/webreadr),因为该包位于 read_log()
函数的开头,还可以提供很多有用的工具。)
read_csv()
函数的第一个参数是最重要的,该参数是要读取的文件的路径:
heights <- read_csv("data/heights.csv")`
还可以提供一个行内 CSV 文件。
read_csv("a,b,c
1,2,3
4,5,6")
> read_csv("a,b,c
+ 1,2,3
+ 4,5,6")
# A tibble: 2 x 3
a b c
<dbl> <dbl> <dbl>
1 1 2 3
2 4 5 6
以上两种情况下,read_csv()
函数都使用数据的第一行作为列名称。
• 有时文件开头会有好几行元数据。你可以使用 skip = n
来跳过前 n 行;或者使用 comment = "#"
来丢弃所有以 # 开头的行:
read_csv("The first line of metadata
The second line of metadata
x,y,z
1,2,3", skip = 2)
> read_csv("The first line of metadata
+ The second line of metadata
+ x,y,z
+ 1,2,3", skip = 2)
# A tibble: 1 x 3
x y z
<dbl> <dbl> <dbl>
1 1 2 3
read_csv("# A comment I want to skip
x,y,z
1,2,3", comment = "#")
> read_csv("# A comment I want to skip
+ x,y,z
+ 1,2,3", comment = "#")
# A tibble: 1 x 3
x y z
<dbl> <dbl> <dbl>
1 1 2 3
• 数据没有列名称。可以使用 col_names = FALSE
来通知 read_csv()
不要将第一行作为列标题,而是将各列依次标注为 X1 至 Xn:
read_csv("1,2,3\n4,5,6", col_names = FALSE) #\n 换行
> read_csv("1,2,3\n4,5,6", col_names = FALSE)
# A tibble: 2 x 3
X1 X2 X3
<dbl> <dbl> <dbl>
1 1 2 3
2 4 5 6
或者你也可以向 col_names
传递一个字符向量,以用作列名称:
read_csv("1,2,3\n4,5,6", col_names = c("x", "y", "z"))
> read_csv("1,2,3\n4,5,6", col_names = c("x", "y", "z"))
# A tibble: 2 x 3
x y z
<dbl> <dbl> <dbl>
1 1 2 3
2 4 5 6
另一个通常需要修改的选项是 na
。它设定使用哪个值(或哪些值)来表示文件中的缺失值:
read_csv("a,b,c\n1,2,.", na = ".")
> read_csv("a,b,c\n1,2,.", na = ".")
# A tibble: 1 x 3
a b c
<dbl> <dbl> <lgl>
1 1 2 NA
7.2.1 与R基础包进行比较
readr
相较于R基础包中具有同样功能的函数,如read.csv()
有以下优点
• 一般来说,比基础模块中的函数速度更快(约快10倍)。
• 可以生成 tibble
,并且不会将字符向量转换为因子,不使用行名称,也不会随意改动列名称。
• 更易于重复使用。R 基础包中的函数会继承操作系统的功能,并依赖环境变量,因 此,可以在你的计算机上正常运行的代码在导入他人计算机时,不一定能正常运行。
7.3 解析向量
在详细介绍 readr
如何从磁盘读取文件前,我们需要先讨论一下 parse_*()
函数族。这些函数接受一个字符向量,并返回一个特定向量,如逻辑、整数或日期向量:
str(parse_logical(c("TRUE", "FALSE", "NA")))
> logi [1:3] TRUE FALSE NA
str(parse_integer(c("1", "2", "3")))
> int [1:3] 1 2 3
str(parse_date(c("2010-01-01", "1979-10-14")))
> Date[1:2], format: "2010-01-01" "1979-10-14"
和 tidyverse
中的所有函数一样,parse_*()
函数族的用法是一致的。第一个参数是需要解析的字符向量,na
参数设定了哪些字符串应该当作缺失值来处理:
parse_integer(c("1", "231", ".", "456"), na = ".")
> [1] 1 231 NA 456
如果解析失败,你会收到一条警告:
x <- parse_integer(c("123", "345", "abc", "123.45"))
> x <- parse_integer(c("123", "345", "abc", "123.45"))
Warning: 2 parsing failures.
row col expected actual
3 -- an integer abc
4 -- no trailing characters 123.45
#解析失败的值在输出中是以缺失值的形式存在的
x
> x
[1] 123 345 NA NA
attr(,"problems")
# A tibble: 2 x 4
row col expected actual
<int> <int> <chr> <chr>
1 3 NA an integer abc
2 4 NA no trailing characters 123.45
在解析函数的使用方面,最重要的是要知道有哪些解析函数,以及每种解析函数用来处理 哪种类型的输入。具体来说,重要的解析函数有 8 种。
• parse_logical()
和 parse_integer()
函数分别解析逻辑值和整数。
• parse_double()
是严格的数值型解析函数,parse_number()
则是灵活的数值型解析函数。
• parse_character()
字符编码。
• parse_factor()
函数可以创建因子,R 使用这种数据结构来表示分类变量,该变量具有固定数目的已知值。
• parse_datetime()
、parse_date()
和 parse_time()
函数可以解析不同类型的日期和时间。
7.3.1 数值
解析数值似乎是非常直截了当的,但以下 3 个问题增加了数值解析的复杂性。
• 世界各地的人们书写数值的方式不尽相同。例如,有些国家使用 .
来分隔实数中的整数和小数部分,而有些国家则使用 ,
。
• 数值周围经常有表示某种意义的其他字符,如 $1000 或 10%。
• 数值经常包含“分组”,以便更易读,如 1 000 000,而且世界各地用来分组的字符也不 尽相同。
为了解决第一个问题,readr
使用了“地区”这一概念,这是可以按照不同地区设置解析选项的一个对象。在解析数值时,最重要的选项就是用来表示小数点的字符。通过创建一个新的地区对象并设定 decimal_mark
参数,可以覆盖 .
的默认值:
parse_double("1.23")
> [1] 1.23
parse_double("1,23", locale = locale(decimal_mark = ","))
> [1] 1.23
readr
的默认地区是 US-centric,因为 R 是以美国为中心的。
parse_number()
解决了第二个问题:它可以忽略数值前后的非数值型字符。这个函数特别适合处理货币和百分比,也可以提取嵌在文本中的数值:
parse_number("$100")
> [1] 100
parse_number("20%")
> [1] 20
parse_number("It cost $123.45")
> [1] 123
组合使用 parse_number()
和地区设置可以解决最后一个问题,因为 parse_number()
可以忽略“分组符号”:
# 适用于美国
parse_number("$123,456,789")
> [1] 1.23e+08
# 适用于多数欧洲国家
parse_number(
"123.456.789",
locale = locale(grouping_mark = ".")
)
> [1] 1.23e+08
# 适用于瑞士
parse_number(
"123'456'789",
locale = locale(grouping_mark = "'")
)
> [1] 1.23e+08
7.3.2 字符串
R 中,我们可以使用 charToRaw()
函数获得一个字符串的底层表示:
charToRaw("Hadley")
> [1] 48 61 64 6c 65 79
每个十六进制数表示信息的一个字节:48 是 H、61 是 a 等。从十六进制数到字符的这种映射称为编码,这个示例中的编码方式称为 ASCII
。ASCII
可以非常好地表示英文字符,因为它就是美国信息交换标准代码(American Standard Code for Information Interchange)的缩写。
readr
全面支持 UTF-8
:当读取数据时,它假设数据是 UTF-8
编码的,并总是使用 UTF-8
编码写入数据。但对于从不支持 UTF-8
的那些旧系统中产生的数据,你的字符串打印出来就是一堆乱码。例如:
x1 <- "El Ni\xf1o was particularly bad this year"
x2 <- "\x82\xb1\x82\xf1\x82\xc9\x82\xbf\x82\xcd"
要想解决这个问题,需要在 parse_character()
函数中设定编码方式:
parse_character(x1, locale = locale(encoding = "Latin1"))
> [1] "El Niño was particularly bad this year"
parse_character(x2, locale = locale(encoding = "Shift-JIS"))
> [1] "こんにちは"
readr
提供了 guess_encoding()
函数来帮助你找出编码方式
guess_encoding(charToRaw(x1))
> encoding confidence
> 1 ISO-8859-1 0.46
> 2 ISO-8859-9 0.23
guess_encoding(charToRaw(x2))
> encoding confidence
> 1 KOI8-R 0.42
guess_encoding()
的第一个参数可以是一个文件路径,也可以是一个原始向量(适用于字符串已经在R中的情况)。
7.3.3 因子
R 使用因子表示取值范围是已知集合的分类变量。如果 parse_factor()
函数的 levels
参数被赋予一个已知向量,那么只要存在向量中没有的值,就会生成一条警告:
fruit <- c("apple", "banana")
parse_factor(c("apple", "banana", "bananana"), levels = fruit)
> fruit <- c("apple", "banana")
> parse_factor(c("apple", "banana", "bananana"), levels = fruit)
Warning: 1 parsing failure.
row col expected actual
3 -- value in level set bananana
[1] apple banana <NA>
attr(,"problems")
# A tibble: 1 x 4
row col expected actual
<int> <int> <chr> <chr>
1 3 NA value in level set bananana
Levels: apple banana
7.4 解析文件
现在你已经学会了如何解析单个向量,接下来我们就回到本章的最初目标,研究 readr
是如何解析文件的。你将在本节中学到以下两种新技能。
• readr
如何自动猜出文件每列的数据类型。
• 如何修改默认设置。
7.4.1 策略
readr
使用一种启发式过程来确定每列的类型:先读取文件的前 1000 行,然后使用(相对保守的)某种启发式算法确定每列的类型。可以使用字符向量模拟这个过程,先使用 guess_ parser()
函数返回 readr
最可信的猜测,接着 parse_guess()
函数使用这个猜测来解析列:
guess_parser("2010-10-01")
> [1] "date"
guess_parser("15:01")
> [1] "time"
guess_parser(c("TRUE", "FALSE"))
> [1] "logical"
guess_parser(c("1", "5", "9"))
> [1] "integer"
guess_parser(c("12,352,561"))
> [1] "number"
str(parse_guess("2010-10-10"))
> Date[1:1], format: "2010-10-10"
7.4.2 问题
这个部分内容都是原理,对实际使用没有太大影响,我这里就跳过了。
7.5 写入文件
readr
还提供了两个非常有用的函数,用于将数据写回到磁盘:write_csv()
和 write_ tsv()
。这两个函数输出的文件能够顺利读取的概率更高,因为:
• 它们总是使用 UTF-8
对字符串进行编码;
• 它们使用 ISO 8601
格式来保存日期和日期时间数据,以便这些数据不论在何种环境下 都更容易解析。 如果想要将 CSV 文件导为 Excel 文件,可以使用 write_excel_csv()
函数,该函数会在文件开头写入一个特殊字符(字节顺序标记),告诉 Excel 这个文件使用的是 UTF-8
编码。 这几个函数中最重要的参数是 x
(要保存的数据框)和 path
(保存文件的位置)。还可以使 用 na
参数设定如何写入缺失值,如果想要追加到现有的文件,需要设置 append
参数:
write_csv(challenge, "challenge.csv")
注意,当保存为 CSV 文件时,类型信息就丢失了。
这使得 CSV 文件在暂存临时结果时有些不可靠——每次加载时都要重建列类型。以下是两种替代方式。
• write_rds()
和 read_rds()
函数是对基础函数 readRDS()
和 saveRDS()
的统一包装。前者可以将数据保存为 R 自定义的二进制格式,称为 RDS 格式:
write_rds(challenge, "challenge.rds")
read_rds("challenge.rds")
> write_rds(challenge, "challenge.rds")
> read_rds("challenge.rds")
# A tibble: 2,000 x 2
x y
<dbl> <lgl>
1 404 NA
2 4172 NA
3 3004 NA
4 787 NA
5 37 NA
6 2332 NA
7 2489 NA
8 1449 NA
9 3665 NA
10 3863 NA
# ... with 1,990 more rows
• feather包
实现了一种快速二进制格式,可以在多个编程语言间共享:
install.packages("feather")
library(feather)
write_feather(challenge, "challenge.feather")
read_feather("challenge.feather")
> read_feather("challenge.feather")
# A tibble: 2,000 x 2
x y
<dbl> <lgl>
1 404 NA
2 4172 NA
3 3004 NA
4 787 NA
5 37 NA
6 2332 NA
7 2489 NA
8 1449 NA
9 3665 NA
10 3863 NA
# ... with 1,990 more rows
feather
要比 RDS
速度更快,而且可以在 R 之外使用。RDS
支持列表列,feather
目前还不行。
8.6 其他类型的数据
要想将其他类型的数据导入 R 中,可以从下列的 tidyverse
包开始。
对矩形数据来说:
• haven
可以读取 SPSS、Stata 和 SAS 文件;
• readxl
可以读取 Excel 文件(.xls 和 .xlsx 均可);
• 配合专用的数据库后端程序(如 RMySQL、RSQLite、RPostgreSQL 等),DBI
可以对相 应数据库进行 SQL 查询,并返回一个数据框。
对于层次数据,可以使用 jsonlite
读取 JSON 串,使用 xml2
读取 XML 文件。对于其他的文件类型,可以学习一下 R 数据导入 / 导出手册([https://cran.r-project.org/doc/ manuals/r-release/R-data.html](https://cran.r-project.org/doc/ manuals/r-release/R-data.html))。