上篇文章说了 Hbase 的基础架构，都是比较理论的知识，最近我也一直在搞 Hbase 的数据迁移， 今天就来一篇实战型的，把最近一段时间的 Hbase 整合 Hadoop 的基础知识在梳理一遍，毕竟当初搞得时候还是有点摸不着方向，写下来也方便以后查阅。之前使用 Hbase 大多是把它当做实时数据库来做查询使用的，大部分使用的都是 Hbase 的基础 Api， Hbase 与 Had
—1——————后台跑程序语句：在shell下输入： nohup hive -f aaa.sql >bbb.log 2>&1 &然后把sql 的脚本导入服务器上:Transfer—Zmodem upload List相关命令：jobs:可以看到运行的任务，；cat bbb.log 可以看到这个任务运行情况后台上传python脚本nohup python -u
目录高频率常用一.查看hadf的帮助信息二.hdfs与dfs结合使用的案例1>.查看hdfs子命令的帮助信息2>.查看hdfs文件系统中已经存在的文件3>.在hdfs文件系统中创建文件4>.上传文件至根目录(在上传的过程中会产生一个以"*.Copying"字样的临时文件)5>.在hdfs文件系统中下载文件6>.在hdfs文件系统中删除文件7>.在hdfs文
转载
2023-07-14 16:00:49
956阅读
1. MySQL从8.0开始支持开窗函数，这个功能在大多商业数据库中早已支持，也叫分析函数。
2. 窗口函数分为静态窗口和滑动窗口，静态窗口的大小是固定的，滑动窗口的大小可以根据设置进行变化，在当前窗口下生成子窗口。
转载
2023-05-28 16:21:00
52阅读
-e适合简单查看的情况-f适合多条脚本，且输出结果较多，可将结果存在制定的文件 （在hive中查看hdfs和本地文件，hdfs在Linux命令前加dfs -,本地在Linux命令前加！）在hive中查看hdfs的文件 1、进入hive窗口2.dfs -ls /;查看hdfs根目录下文件 (dfs -lsr /;递归查看）在hive中查看Linux虚拟机本地文件 1、进入hiv
转载
2023-07-14 10:52:30
1388阅读
src="http://player.youku.com/embed/XMTgzMDg4OTMxNg==" width="1000" height="600" frameborder="0" allowfullscreen="allowfullscreen">
原创
2022-08-11 12:22:56
278阅读
Hive
数据仓库，理解为hadoop的客户端，可以通过Hive来操作hadoop。
Hive的功能是把脚本变成MapReduce程序，方便不熟悉MapReduce的开发者来分析数据。
数据存储
Hive的元素存储在关系型数据库中。Hive本身不存储数据，数据存在HDFS上，Hive存储的事Hive到HDFS中数据的映射关系，通过这个映射关系Hive可以操作HDFS上的数
转载
2023-08-22 09:57:55
422阅读
先描述一下VS中的几个窗口命令窗口（Command Window）利用命令窗口，可以查询并设置变量的值来控制程序的执行和输出，也可以在命令Window)监视窗口
原创
2022-07-21 16:22:13
143阅读
在本篇博文中，将对Hive中的内置函数和UDF函数的使用，进行简要介绍，并进行实际操作验证Hive内置函数的使用函数在Hive中使用的常用命令网址： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
UDF：User-Defined FunctionsBuild-in查看hive中支持的函数：hive>sh
转载
2023-07-12 22:11:37
50阅读
在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作
hdfs基本操作
1、查询命令
hadoop dfs -ls / 查询/目录下的所有文件和文件夹
hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件
转载
2023-07-05 12:54:01
671阅读
# Hive 查看HDFS文件
Hive是一个数据仓库基础设施，用于查询和分析大规模数据集存储在Hadoop集群中。在Hive中，我们可以使用HiveQL语言执行类似于SQL的查询操作。作为在Hadoop上运行的分布式数据库，Hive提供了对HDFS文件系统的支持。本文将介绍如何使用Hive查看HDFS文件，并提供相应的代码示例。
## 1. Hive和HDFS
在深入探讨如何使用Hive查
原创
2023-08-14 11:32:59
329阅读
# 使用HDFS查看Hive表
在大数据领域，Hive是一个基于Hadoop的数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语言进行查询和分析。而HDFS（Hadoop Distributed File System）是Hadoop的文件系统，用于存储和管理Hadoop集群中的大量数据。
在Hive中创建了表之后，我们通常需要查看这些表的数据存储在HDFS上的具体位置。本
set serveroutput on
原创
2023-10-09 09:46:38
193阅读
1.配置环境变量 MAVEN_HOME : D:\apache-maven-3.0.2 MAVEN : %MAVEN_HOME%\bin (可选） MAVEN_OPTS : -Xms256m -Xmx512m 在path 前面 加上 %MAVEN%;2.验证安装是否成功 在命令行上输入 ： mvn -version; 回车，如看到下面信息表示安装成功：3.创建项目 在命令行上输入 ：m
转载
2017-12-02 09:32:00
90阅读
2评论
Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/String,
转载
2023-07-12 23:36:06
50阅读
文章目录二、使用 Maven：命令行环境第四节 实验四：创建 Maven 版的 Web 工程1、说明2、操作3、生成的pom.xml4、生成的Web工程的目录结构5、创建 Servlet①在 main 目录下创建 java 目录②在 java 目录下创建 Servlet 类所在的包的目录③在包下创建 Servlet 类④在 web.xml 中注册 Servlet6、在 index.jsp 页面编
NameNode和DataNode的概述NameNode概述: 1.NameNode也称为Master，是HDFS的核心 2.NameNode仅存储HDFS的元数据，文件系统中所有文件的目录树，并限制整个集群中的文件 3.NameNode不存储实际文件中的数据，数据本身实际存储在DataNode中 4.NameNode知道HDFS中任何给定文件中
hdfs的介绍hdfs的概述：HDFS
（
Hadoop Distributed File System
）是
Apache Hadoop
项目的一个子项目
. Hadoop
非常适于存储大型 数据
(
比如
TB
和
PB),
其就是使用
HDFS
作为存储系统
. HDFS
使用多台计算机存储文件
命令：load data local inpath '/root/my_data/01_cookie.txt' into table test.t_cookie;在linux系统hive中执行，把/root/my_data/01_cookie.txt文件加载到集群中hdfs的/user/hive/warehouse下test库t_cookie表，命令成功。但是该语句放到datagrip上或者Hue
转载
2023-07-14 12:53:47
630阅读
说明 对hive基本命令进行实战，要求本机安装着mysql和启动hdfs。 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 
转载
2023-08-30 11:19:22
133阅读
