当 在hive中使用round 函数的时候，比如你 round（a,0）想保留一位小数点的时候，如果这个a是decimal的数据类型，那么就有可能是失效。比如a是30.01或者30.91的时候，这两种类型的数据就不会保留一位小数点，只会返回给你 30 或者31。其他类型的比如 30.12,30.22.。。等等就不会失效。 这种问题解决方案：最好就直接将a先强转成bigint类型，这种情况下roun
转载
2023-05-22 15:31:21
479阅读
某零售行业拥有多家连锁零售门店，现为12月份，我们现在需要调出历史零售数据，做销售表现的对比，复盘分析今年的销售表现，看去年制定的KPI现在达标情况、做同比环比。数据表的关系如下图： 在hive中创建表： CREATE 导入数据： LOAD 先把表聚合起来，方便后续使用： hive 显示创建成功后验证： select 能查看到五行记录 hiv
转载
2023-07-20 22:10:22
75阅读
Hive 引言# 简介
> hive是facebook开源，并捐献给了apache组织，作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术，主要是通过将用户书写的SQL语句翻译成MapReduce代码，然后发布任务给MR框架执行，完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张
Hive命令目录Hive命令前言变量和属性Hive中“一次使用”命令执行文件中的SQL如何在hive cli中执行shell命令或访问hdfs呢？hiverc文件hive cli 小技巧自动补全命令查看执行命令历史如何注释SQL？前言Hive是有命令行模式的，你知道吗？很实用，很适合用来学习一些语法呀，简单的操作鸭...不用烦琐的去写代码、打包、上传、运行、就可以实现的哦~ $HIVE_
Apache Hive是提供了一种数据映射去读取文本数据，以及提供了类SQL的语句来执行MapReduce。也就是一种更简化操作的MR。之前的练习是跟着视频学的hive-1.2.2 而这几天自己练习 hive-2.3.2 才发现很多问题，需要增加一些配置。以下是笔记：# Hive是基于Hadoop的一个数据仓库工具，作为数据仓库工具，一般要具备2个方面的能力：一是数据的存储，另一个是ETL。
#
转载
2023-09-08 15:39:27
149阅读
接上文，从计算步骤和计算资源的角度进行Hive性能优化三、计算步骤优化计算步骤优化主要是为了减少单个SQL中的task的数量。3.1 多表join尽量保持join key一致同一个SQL中相同关联key的表join时会放在一个join任务中完成，数据类型也必须保持一致。具体案例： create table table_a(id bigint, col1 string);
create table
转载
2023-09-20 06:24:19
111阅读
Apache Hive是提供了一种数据映射去读取文本数据，以及提供了类SQL的语句来执行MapReduce。也就是一种更简化操作的MR。之前的练习是跟着视频学的hive-1.2.2 而这几天自己练习 hive-2.3.2 才发现很多问题，需要增加一些配置。以下是笔记： # Hive是基于Hadoop的一个数据仓库工具，作为数据仓库工具，一般要具备2个方面的能力：一是数据的存储，另一个是ETL。
背景最近在验证一个计算的方案，使用的是华为开源的数据虚拟化引擎OpenLookeng（hetu），底层基于presto引擎来提供交互式查询分析能力。先前成功部署过一套，添加hive，mysql等数据源一切正常。后重新在其他环境进行部署时，连接hive时出现java.net.UnknownHostException:hacluster。用的是华为平台，hadoop版本为3.1.1，hive版本3.1
1.设置合理solt数
mapred.tasktracker.map.tasks.maximum
每个tasktracker可同时运行的最大map task数，默认值2。
mapred.tasktracker.reduce.tasks.maximum
每个tasktracker可同时运行的最大reduce task数，默认值1。
转载
2023-08-24 20:36:01
125阅读
今天写Javaee网页开发的时候碰到一个colspan不起作用的问题 查了查代码也没有使用display:block。 后来经查明是使用了float:left;当该属性(display)不等于none引起对象浮动时，对象将被视作块对象(block-level)，即display属性等于block。也就是说，浮动对象的display特性将被忽略。**float在绝对定位和display为none时不
文章目录背景：解决思路分析：实例表数据准备size(collect_set() over(partition by order by))测试结果：结果分析： 背景：笔者在为公司搭建学生知识点画像时遇到了这种场景，在使用Spark DataFrame开发时，发现count(distinct user_id) over(partition by knowledge_id order by exam_
This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its de 错误解决办法 解决办法也有两种，第一种是在创建子程序(存储过程、函数、触发器)时，声明为DETERMINISTIC或NO SQL与READS SQL DATA中的一个，例如:CREATE DEFINER = CURRENT_USER P
一、hive权限变更缓慢 1、背景说明 2、问题分析 3、解决方式 二、sentry同步hive权限缓慢 1、背景说明 2、问题分析 三、sentry所用mysql字符集问题 1、背景说明 2、问题说明 3、解决办法 四、客户端下发问题 1、背景说明 2、问题说明 3、解决办法 五、yarn资源池配置 1、背景说明 2、问题说明 3、解决办法 六、sentry uri授权问题 1、问题说明 2、问
转载
2023-07-14 19:29:39
301阅读
C语言setbuf()函数：把缓冲区与流相关联头文件：1#include <stdio.h>函数setbuf()用于将指定缓冲区与特定的文件流相关联，实现操作缓冲区时直接操作文件流的功能。其原型如下：1void setbuf(FILE * stream, char * buf);【参数】stream为文件流指针，buf为缓冲区的起始地址。如果参数buf 为NULL 指针，则为无缓冲，s
sublime已经设置了启用refresh：not work for me , os : windows 10 sublime version : 3211 when i save a html document , console see : {“path”: “test.html”, “apply_js_live”: null, “apply_css_live”: null, “apply_i
原创
2022-07-05 18:25:01
267阅读
Remoting技术简介
一 Remoting技术出现的背景1)分布式应用需求的迅速增长(Peer-to-Peer, Grid等技术的出现)2)原有的C/S, B/S模式和技术已经不能胜任(串口RS232,Socket,RPC,DCOM技术各有缺点)二 什么是Romoting?采用分布式进行编程的一种技术，Remoting主要用于管理跨应用程序域的同步和异步RPC 会话。在默认情况下，
# 如何解决“mysql not in 不起作用”问题
## 流程图
```mermaid
flowchart TD
A[问题出现] --> B[检查SQL语句]
B --> C[确认语法错误]
C --> D[重新编写SQL语句]
D --> E[测试SQL语句]
E --> F[确认问题解决]
```
## 步骤
| 步骤 | 操作 |
|---
开篇本篇主要讲解的是 View 工作原理之 measure 过程，主要是以源码的形式进行分析，源码来源 API 26。从 ViewRootImpl 的 #performTraversals 方法开始说起performTraversals 方法是整个工作流程的核心，它里面分别取执行了 measure、layout 以及 draw 三个过程，看一下代码：private void performTrav
配置Bean容器主要有三种配置机制：1.在XML中进行显示配置。2.在java中进行显示配置3.隐式的bean发现机制和自动装配。1.首先我们来看下Spring的自动化装配Bean的方式。Spring从两个角度实现自动化装配：1.组件扫描（component scanning）：Spring会自动发现应用上下文中所创建的Bean。2.自动装配（autowiring）:Spring自动满足bean之
今天发现隐藏控件的ShowWindow不起作用，找了半天才发现是重写了O
原创
2022-12-22 18:48:56
233阅读
