Hive自定义函数UDF、UDTF Hive自定义函数UDF、UDTFhive中已经自带一些函数，但数量有限，有时候需要自己定义函数，自定义函数分为一下三种：1、UDF（User-Defined-Function）一进一出类似于:lower/upper/reverse2、UDAF（User-Defined Aggregation Function）聚集函数，多进一出类似于：count/max/min3、UDTF（User-Defined Table-Generating Functions）一进多出如lateral
hive的开窗函数 hive的开窗函数开窗函数可用于组内数据分析排序。开窗函数的语法Function (arg1,..., argn) OVER ([PARTITION BY <...>] [ORDER BY <....>][<window_expression>])hive常用的开窗函数Function ：-- 聚合开窗函数count(); -- 窗口内总条数sum(); -- 窗口内数据的和min(); -- 窗口内最小值max(); -- 窗口内最
hive的内置函数 hive的内置函数1. 数学函数四舍五入select round(3.1415926);select round(3.1415926, 3);向下取整select floor(3.1415926);向上取整select ceil(3.1415926);0-1范围内的随机数select rand();rand(int seed),指定种子将会返回固定的随机数select rand(5);幂运算函数 pow(2,3) 2的三次幂sele
Linux开发环境下手动安装mysql MySQL安装1. 上传、解压mysql安装包#将MySQL的安装包提前上传到Linux的/export/software目录cd /export/softwaretar -zxvf mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz -C /export/server/2.重命名cd /export/servermv mysql-5.7.29-linux-glibc2.12-x86_64 mysql-5.7.293.添加用户组与用户groupa
shell脚本操作Zookeeper集群（启动、关闭、查看状态） shell脚本操作Zookeeper集群前提: 已经安装好zk集群，并且做好免密登录。脚本如下：#!/bin/batchzk_arr=("node1" "node2" "node3")echo "请选择对zk集群的操作类型"active=""PS3="请输入的选择"select var in "启动" "关闭" "查看状态"do echo "请稍后..." case $var in "启动")
activiti7创建25张表 本人使用的是mysql8.0.13版本，所以activiti.cfg.xml配置的数据源有所不同。这是单独运行生成表结构的示例:pom文件:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:/...
进程池 进程池: 创建进程池:pool = multipercessing,Pool(进程的最大数量) 添加任务: pool.apply()是阻塞任务方式,会等待添加的任务执行完毕,才会继续向下执行 apply_asybnc() 是非阻塞的任务添加方式,只管添加,不等任务几万结束, 关闭进程池: ...
Python的多进程 子进程的创建: pro = multiprocessing.Process(target=子进程需要执行的方法名, args="给子进程传递的参数")执行子进程: pro.start()终止子进程的方法: pro.terminate() terminate()方法不是立即终止进程,而是通过这个方法,通知cpu终止这个进程,具体什么时间终止这个进程,要看cpu调度什么时候执行...
python的多线程 多线程是多任务的一种方式,多线程的目的就是解决并发,提高处理效率.多线程有两个概念: 1.并行:并行的前提是必须是多核CPU才可以发生. 并行的意思就是同时执行,成为并行 2.并发:并发可以发生在单核CPU和多核CPU中. 并发的意思就是在一定时间内执行任务,成为并发一.创建多线程的方法有两种 (一).threading...
Python初学一：Python基础 # TODO py中数据类型分为两种：# 1.可变数据类型 ：列表list;字典dict# 2.不可变数据类型:整数int，小数float,字符串str，元祖tuple# TODO py中字典的key不能是不可变类型# TODO 不可变数据类型进行+=运算会更换地址值，就是重新指向了一个内存中的数据# TODO 可变参数进行+=运算相当于调用extend(翻译：扩展)方...
关注
