pyspark入门 pyspark functions

pyspark.sql.functions包含了很多内置函数。

1.pyspark.sql.functions.abs(col)

计算绝对值。

2.pyspark.sql.functions.acos(col)

计算给定值的反余弦值; 返回的角度在0到π的范围内。

3.pyspark.sql.functions.add_months(start, months)

返回start后months个月的日期

4.pyspark.sql.functions.array_contains(col, value)

集合函数：如果数组包含给定值，则返回True。 收集元素和值必须是相同的类型。

5.pyspark.sql.functions.ascii(col)

计算字符串列的第一个字符的数值。

6.pyspark.sql.functions.avg(col)

聚合函数：返回组中的值的平均值。

7.pyspark.sql.functions.cbrt(col)

计算给定值的立方根。

8.pyspark.sql.functions.ceil(col)

计算给定值的上限。

9.pyspark.sql.functions.coalesce(*cols)

返回不为空的第一列。

10.pyspark.sql.functions.col(col)

根据给定的列名返回一个列。

11.pyspark.sql.functions.collect_list(col)

聚合函数：返回重复对象的列表。

12.pyspark.sql.functions.collect_set(col)

聚合函数：返回一组消除重复元素的对象。

13.pyspark.sql.functions.concat(*cols)

将多个输入字符串列连接成一个字符串列。

14.pyspark.sql.functions.concat_ws(sep, *cols)

使用给定的分隔符将多个输入字符串列连接到一个字符串列中。

15.pyspark.sql.functions.corr(col1, col2)

返回col1和col2的皮尔森相关系数的新列。

16.pyspark.sql.functions.cos(col)

计算给定值的余弦。

17.pyspark.sql.functions.cosh(col)

计算给定值的双曲余弦。

18.pyspark.sql.functions.count(col)

聚合函数：返回组中的项数量。

19.pyspark.sql.functions.countDistinct(col, *cols)

返回一列或多列的去重计数的新列。

20.pyspark.sql.functions.current_date()

以日期列的形式返回当前日期。

21.pyspark.sql.functions.current_timestamp()

将当前时间戳作为时间戳列返回。

22.pyspark.sql.functions.date_add(start, days)

返回start后days天的日期

23.pyspark.sql.functions.date_format(date, format)

将日期/时间戳/字符串转换为由第二个参数给定日期格式指定格式的字符串值。
一个模式可能是例如dd.MM.yyyy，可能会返回一个字符串，如“18 .03.1993”。 可以使用Java类java.text.SimpleDateFormat的所有模式字母。
注意：尽可能使用像年份这样的专业功能。 这些受益于专门的实施。

24.pyspark.sql.functions.date_sub(start, days)

返回start前days天的日期

25.pyspark.sql.functions.datediff(end, start)

返回从start到end的天数。

26.pyspark.sql.functions.dayofmonth(col)

将给定日期的月份的天解压为整数。

27.pyspark.sql.functions.dayofyear(col)

将给定日期的年份中的某一天提取为整数。

28.pyspark.sql.functions.desc(col)

基于给定列名称的降序返回一个排序表达式。

29.pyspark.sql.functions.exp(col)

计算给定值的指数。

30.pyspark.sql.functions.expm1(col)

计算给定值的指数减1。

31.pyspark.sql.functions.factorial(col)

计算给定值的阶乘。

32.pyspark.sql.functions.floor(col)

计算给定值的最小。

33.pyspark.sql.functions.format_number(col, d)

将数字X格式化为像'＃， - ＃， - ＃.-'这样的格式，四舍五入到小数点后的位置，并以字符串形式返回结果。
参数:●  col – 要格式化的数值的列名称
         ●  d – N小数位

34.pyspark.sql.functions.format_string(format, *cols)

以printf样式格式化参数，并将结果作为字符串列返回。
参数:●  format – 要格式化的格式
         ●  cols - 要格式化的列

35.pyspark.sql.functions.hex(col) 

计算给定列的十六进制值，可以是StringType，BinaryType，IntegerType或LongType

36.pyspark.sql.functions.hour(col)

将给定日期的小时数提取为整数。

37.pyspark.sql.functions.hypot(col1, col2)

计算sqrt（a ^ 2 ^ + b ^ 2 ^），无中间上溢或下溢。

38.pyspark.sql.functions.initcap(col)

在句子中将每个单词的第一个字母翻译成大写。

39.pyspark.sql.functions.isnan(col)

如果列是NaN，则返回true的表达式。

40.pyspark.sql.functions.kurtosis(col)

聚合函数：返回组中的值的峰度。

41.pyspark.sql.functions.last(col)

聚合函数：返回组中的最后一个值。

42.pyspark.sql.functions.last_day(date)

返回给定日期所属月份的最后一天。

43.pyspark.sql.functions.lit(col)

创建一个文字值的列

44.pyspark.sql.functions.log(arg1, arg2=None)

返回第二个参数的第一个基于参数的对数。
如果只有一个参数，那么这个参数就是自然对数。

45.pyspark.sql.functions.log1p(col)

计算给定值的自然对数加1。

46.pyspark.sql.functions.log2(col)

返回参数的基数为2的对数。

47.pyspark.sql.functions.lower(col)

将字符串列转换为小写。

48.pyspark.sql.functions.ltrim(col)

从左端修剪指定字符串值的空格。

49.pyspark.sql.functions.minute(col)

提取给定日期的分钟数为整数

50.pyspark.sql.functions.monotonically_increasing_id()

生成单调递增的64位整数的列。

生成的ID保证是单调递增和唯一的，但不是连续的。 当前的实现将分区ID放在高31位，并将每个分区内的记录号放在低33位。 假设 
数据帧的分区少于10亿个，每个分区少于80亿条记录

例如，考虑一个DataFrame有两个分区，每个分区有三个记录。 该表达式将返回以下ID：0,1,2,8589934592（1L << 33）， 
8589934593，8589934594

51.pyspark.sql.functions.month(col)

将给定日期的月份提取为整数

52.pyspark.sql.functions.months_between(date1, date2)

返回date1和date2之间的月数。

53.pyspark.sql.functions.rand(seed=None)

用i.i.d生成一个随机列 来自样本[0.0，1.0]。

54.pyspark.sql.functions.randn(seed=None)

用i.i.d生成一列 来自标准正态分布的样本。

55.pyspark.sql.functions.reverse(col)

反转字符串列并将其作为新的字符串列返回

56.pyspark.sql.functions.rtrim(col)

从右端修剪指定字符串值的空格

57.pyspark.sql.functions.skewness(col)

聚合函数：返回组中值的偏度

58.pyspark.sql.functions.sort_array(col, asc=True)

集合函数：按升序对给定列的输入数组进行排序。
参数:col – 列或表达式名称

59.pyspark.sql.functions.split(str, pattern)

将模式分割（模式是正则表达式）。
注：pattern是一个字符串表示正则表达式。

60.pyspark.sql.functions.sqrt(col)

计算指定浮点值的平方根

61.pyspark.sql.functions.stddev(col)

聚合函数：返回组中表达式的无偏样本标准差

62.pyspark.sql.functions.sumDistinct(col)

聚合函数：返回表达式中不同值的总和

63.pyspark.sql.functions.to_date(col)

将StringType或TimestampType的列转换为DateType

64.pyspark.sql.functions.trim(col)

修剪指定字符串列的两端空格。

65.pyspark.sql.functions.trunc(date, format)

返回截断到格式指定单位的日期

参数: format – ‘year’, ‘YYYY’, ‘yy’ or ‘month’, ‘mon’, ‘mm’

66.pyspark.sql.functions.var_samp(col)

聚合函数：返回组中值的无偏差

67.pyspark.sql.functions.variance(col)

聚合函数：返回组中值的总体方差