调试MR job， 最好在单机环境中，这样可以降低问题的复杂度。
一 推荐在eclipse下进行调试，所以先安装hadoop-eclipse 插件，注意对插件的jar进行修改
1： 向 lib 文件夹加入 依赖的jar包。
2 ： 修改 meta-inf 文件
二 在eclipse中新建MR project，编写适当的逻辑，右键以run on hadoop 启动WordCoun
原创
2013-04-17 19:05:18
936阅读
mr-Job提交流程源码
原创
2022-12-28 15:27:43
48阅读
代码已经拷贝到了公司电脑的： /Users/baidu/Documents/Data/Work/Code/Self/hadoop_mr_streaming_jobs 首先是主控脚本 main.sh 调用的是 extract.py 然后发现写的不太好。其中有一个combiner，可以看这里： http
转载
2018-04-14 13:10:00
102阅读
2评论
Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架（如图 1 所示）使用 Oozie 协调器促进了相互依赖的重复工作之间的协调，您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle 系统提交或维护一组协调应用程序。作为本练习的一部分，Oozie 运行了一个 Apache Sqoop 作业，以便在 MySQL 数据库中
原创
2021-07-22 13:45:47
215阅读
Spring解决循环引用循环引用是指以下情况：@Component("TestService1")
public class TestService1 {
@Autowired
TestService2 testService2;
public TestService1(){
System.out.println("construct TestService1");
}
前言 前面一篇博文写的是Combiner优化MapReduce执行，也就是使用Combiner在map端执行减少reduce端的计算量。一、作业的默认配置 MapReduce程序的默认配置 1）概述 在我们的MapReduce程序中有一些默认的配置。所以说当我们程序如果要使用这些默认配置时，可以不用写。 我们的一个MapReduce程序一定会有Mapper和Reducer，但是我们程
Hive中的join：
Hive中除了支持和传统数据库中一样的内关联（join）、左关联（left join）、右关联（right join）、全关联（outer join），还支持LEFT SEMI JOIN和CROSS JOIN，但这两种JOIN类型也可以用前面的代替注意：Hive中Join的关联键必须在ON ()中指定，不能在Where中指定，否则就会先做笛卡尔积，再过滤内关联（JOIN）：
转载
2023-07-14 22:44:55
60阅读
最近发现一个数据库服务器的维护计划每天会被执行两次，一次是20:30，另一次是凌晨3:00。
第一次是我设置的，通过维护的属性就能够看到。3点多的那次怎么跑出来的我就不知道了。
任何事务都可以成段或者分成块，如果知道每个块（object）之间关系，问题就比较容易解决了。
一个维护任务大概可以分成三块，做什么、谁来做、什么时间做。换成SQL SERVER的方式就是，把个备份（做什么）的
推荐
原创
2010-08-18 18:48:21
6192阅读
1评论
## Java执行Job的execute数据重复实现流程
为了实现Java执行Job的execute数据重复，我们可以按照以下步骤进行操作：
1. 创建一个Java类，命名为`JobExecutor`，该类用于执行Job的execute方法。
```java
public class JobExecutor {
public static void main(String[] arg
原创
2023-09-28 17:26:14
138阅读
大数据技术 —— MapReduce 简介 本文为senlie原创，转载请保留此地址：http://www.cnblogs.com/senlie/ 1.概要很多计算在概念上很直观，但由于输入数据很大，为了能在合理的时间内完成，这些计算必须分布在数以百计数以千计的机器上。例如处理爬取得到的文档、网页请
转载
2018-08-16 11:37:00
189阅读
2评论
１．简介
Spring Batch 是一个轻量级的、完善的批处理框架,旨在帮助企业建立健壮、高效的批处理应用。Spring Batch是Spring的一个子项目,使用Java语言并基于Spring框架为基础开发,使的已经使用 Spring 框架的开发者或者企业更容易访问和利用企业服务。
Spring Batch 提供了大量可重用的组件,包括了日志、追踪、事务、
1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. RDBMS一般是写验证,而Hive是读验证,即数据进入不会验证数据是否符合要求,只在读取的时候检查,解析具体字段 1.2 Hive的优缺点 优点: 可以直接访问HDFS,或者其它的
转载
2023-11-13 12:42:49
100阅读
Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS）
转载
2023-09-12 03:47:08
92阅读
-- hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。一、hiveSQL转化为MR过程 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了几篇相关博客，根据自己理解重新画了一份执行过程图，做笔记。 二、h
转载
2023-07-12 09:30:10
151阅读
一，调优基础 ：1 ，连接暗示 ：需求 ： 让 join 发生在 map 端sql ：select /*+ mapjoin(customers) */ a.*,b.*
from customers a left outer join orders b
on a.id=b.cid;2 ，hive 执行计划hql 在执行的时候，是转化成了什么样的 mr 去执行的。3 ，查看执行计划 ： expla
转载
2023-09-05 15:24:40
92阅读
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下：MR是基于进程，spark是基于线程Spark的多个task跑在同一个进程上，这个进程会伴随spark应用程序的整个生命周期，即使没有作业进行，进程也是存在的MR的每一个task都是一个进程，当task完成时，进程也会结束所以，spark比M
转载
2023-08-11 23:35:57
225阅读
MR数据流向示意图步骤 1输入文件从HDFS流向Mapper节点。在一般情况下，map所需要的数据就存在本节点，这就是数据本地化计算的优势，但是往往集群中数据分布不均衡(1000台节点，数据冗余度是10，每个文件并不能均匀分布在每个节点上)，而MR的计算槽位是均匀分布在节点上的(配置文件中指定的map和reduce数量)，所以势必有些计算节点需要通过数据传输从别的节点获取计算数据。步骤 2Mapp
转载
2023-12-19 19:51:26
69阅读
三个案例wordcount案例需求分析设计代码温度统计案例需求分析设计代码涉及到的类NullWritableWritableComparable\接口WritableComparator类推荐好友案例需求分析设计代码 wordcount案例需求统计输入的文件中，每个单词出现了几次分析设计在map中将输入的每条数据切割成单词，将key为单词，value为1的计算结果输出默认的分组器会将相同key（
转载
2023-11-07 01:32:59
36阅读
Fetch抓取 hive中的某些查询不必使用MR，例如select * from，在这种情况下，hive可以简单的读取表的存储目录下的文件，然后输出查询结果到控制台。 hive.fetch.task.conversion设置成mre，如下查询方式都不会执行MR程序 hive (default)> set hive.fetch.task.conversion=more; hive (defau
05-Hadoop MapReduce 原理 MR源码调试 准备工作06-Hadoop MapReduce 原理 MR源码调试 Job提交流程1
原创
2022-11-18 09:15:41
51阅读
