51CTO博客开发博客园蜗居新浪微博ITeye
1、先决条件 要求必须已经安装完成Hadoop，Hadoop的安装在之前的博文《VMware下Hadoop 2.4.1完全分布式集群平台安装与设置》有详细介绍过。 2、下载Hive安装包 当前最新版本为0.13.1，可以到官网下载最新版，下载地址为：http://archive.apache.org/dist/
在另一博文《Shell脚本实现DB2数据库表导出到文件》中实现了通过脚本实现将DB2数据库导出到文件，需要传入七个参数，最后一个是一个带有空格字符串，所以传入的时候有点问题，会自动识别空格，默认会将空格前的当作第7个参数，以下是传入的参数：MD duanwf 23742 CDR_CALL_YYYYMMDD /h
本文主要实现对.chk文件的解析，将其内容读出来，存入到一个Map中，文件内容实例为：A0500220140828.CHKA05002 |34622511 |373532879 |3识别分隔符|，代码如下所示：package com.src.factory; import java.io.BufferedReader; import j
本文主要实现了扫描指定文件路径下的文件，递归扫描其子目录下的所有文件信息，示例文件为： 要求将后缀为.dat的文件夹信息也写入到数据库中，然后将.chk文件解析，将文件中对应的内容读出来写入到数据库，对应类为ChkFileParseFactroy，本文文件发现代码为：package com.src.service.impl; import java.io.Fil
1 VM下Ubuntu安装和配置1.1 安装Ubuntu系统 这个就不说了，不知道的可以去看看其他的博文。 1.2 集群配置 搭建一个由3台机器组成的集群：IPuser/passwdhostnameroleSystem192.168.174.160hadoop/hadoopmasternn/snn/rmUbuntu-14.04-32bit192.168
现在的软件越来越好安装，尤其是在ubuntu下安装软件，更是没有技巧，只需要在联网的情况下使用apt-get inatll 即可。在决定安装mysql之前，要先确定系统是否已经安装mysql。hadoop@master:~$ netstat -tap | grep mysql （并非所有进程都能被检测到，所有非本用户的进程信息将不会显示
突然发现EditPlus还是很强大的，很好用，破解也很方便，有个牛人做了在线生成验证码，只能说服！！下边把官网的最新下载地址贴出，当然还有在线生成验证码喽。 EditPlus Text Editor下载 Download EditPlus Text EditorSupported Operating Systems Windows 8.1/8/7/Vista/XPEditPl
注解@Scheduled 可以作为一个触发源添加到一个方法中，例如，以下的方法将以一个固定延迟时间5秒钟调用一次执行，这个周期是以上一个调用任务的完成时间为基准，在上一个任务完成之后，5s后再次执行：@Scheduled(fixedDelay=5000) public void doSomething() {
【赛迪网－IT技术报道】前言： 数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享，是企业商务智能、数据仓库系统的重要组成部分。ETL是企业数据集成的主要解决方案。文章从ETL的概念出发，简要分析了当前ETL中用到的一些基本技术，为ETL系统的开发和ETL技术的应用提供一些参考。1.ETL简介 随着企业信息化建设的发展，巨大的投资为企业建立了众多的信息系
由于项目需要在配置文件中配置一个刷新时间，但是配置文件中取出来来的数据肯定是字符串，然后要将该带有运算符的字符串转换为Long型。具体代码如下：配置文件中：reflash_time = (2*60*1000)Java代码取出该值：public static final String REFL
本文通过Java代码调用Shell脚本并传入参数实现DB2数据库表导出到文件，代码如下：import java.io.File; import java.io.IOException; import java.io.InputStreamReader; import java.io.LineNumberReader; import java.uti
该Shell脚本用于实现将DB2数据库表导出到文件，将在另一篇博文《Java代码调用Shell脚本并传入参数实现DB2数据库表导出到文件》中通过Java代码实现调用该脚本并传入参数。#!/usr/bin/env sh DBSCHEMA=$1 DBUSER=$2 DBPASSWORD=$3 TABLENAME=$4 FILEPATH=$5 DELIMITER=$6 EXPORTLIMIT
博文来源：VM虚拟机下安装Centos7.0图文教程1、写在之前官方的第一个文本档案，也就是0_README.txt大概意思是这样（渣翻译，但是大概意思还是有的）。 CentOS-7.0-1406-x86_64-DVD.iso： 这个镜像（DVD p_w_picpath)包括了那些可以用安装程序（installer）安装的所有安装包，这个为大
Hadoop实战手册 [美] Jonathan R. Owens，Jon Lentz，Brian Femiano 著； 傅杰，赵磊，卢学裕 译内容简介 这是一本Hadoop实用手册，主要针对实际问题给出相应的解决方案。《Hadoop实战手册》特色是以实践结合理论分析，手把手教读者如何操作，并且对每个操作都做详细的解释，对一些重要的知识点也做了必要
RabbitMQ远程调用测试，使用外部机器192.168.174.132上的RabbitMQ，使用之前需要对远程调用进行配置，操作过程见博文“解决RabbitMQ远程不能访问的问题”。SendTest：package com.mq.rabbitmq.rabbitmqtest; import java.util.Date; im
适用于ubuntu 12.04英文版的系统，其它版本的设置应该是大同小异的。1.进入ubuntu系统，在顶部齿状标志找到system settings2.在personal找到Language Support3.进入Language Support后，在language的页面中点击Install/Remove Languages...4.在弹出的框中，找到Chinese(simplified)，并
刚刚安装的RabbitMQ-Server-3.3.5，并且也已经开启了Web管理功能，但是现在存在一个问题：出于安全的考虑，guest这个默认的用户只能通过http://localhost:15672 来登录，不能使用IP地址登录，也就是不能远程访问，这对于服务器上没有安装桌面的情况是无法管理维护的。 &
【问题描述】 Maven工程中，使用了slf4j，运行时出现错误：SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder". SLF4J: Defaulting to no-operation
一、简答题（本题共30分）1. 当前计算机系统一般会采用层次结构来存储数据，请介绍下典型的计算机存储系统一般分为哪几个层次，为什么采用分层存储数据能有效提高程序的执行效率？（10分）2. Unix/Linux系统中僵尸进程是如何产生的？有什么危害？如何避免？（10分）3. 简述Unix/Linux系统中使用socket库编写服务器端程序的流程，请分别用对应的socket通信函数表示（10分）&nb
【问题描述】 配置日志，使用SLF4J和LOG4J搭配，数据库连接池使用c3p0，启动服务器，会出现如下警告信息：log4j:WARN No appenders could be found for logger (com.mchange.v2.log.MLog). log
安装完MySQL之后就没去配置了，然后每次都是使用local连接，今天做测试使用了IP地址，然后就又掉了链子，以前也遇到过，就是不长记性！！！！！ 错误日志：java.sql.SQLException: null, messa
目录1 编辑2 查看3 窗口4 导航5 搜索6 文本编辑7 文件8 项目9 源代码10 运行11 重构12 修改快捷键Eclipse快捷键，熟悉快捷键可以帮助开发事半功倍，节省更多的时间来用于做有意义的事情。常用快捷键：Ctrl+1： 快速修复(最经典的快捷键,就不用多说了)Ctrl+D: 删除当前行Ct
上一篇讲述了使用JSch实现文件上传的功能，这一篇主要讲述一下JSch实现文件下载的功能。并介绍一些SFTP的辅助方法，如cd，ls等。同样，JSch的文件下载也支持三种传输模式：OVERWRITE, RESUME和APPEND，请参考上篇随笔：JSch - Java实现的SFTP（文件上传详解篇）文件下载JSch文件下载是通过调用ChannelSftp对象的get方法来实现的。ChannelSf
JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。 本文只介绍如何使用JSch实现的SFTP功能。 SFTP是Secure File Transfer
现在由于项目需要，使用了LinkedHashMap，一开始由于很少用到Map，然后就直接使用了HashMap，在将数据成功存入之后取出来就出了问题，数据输出顺序没有按预期顺序输出，现在先看代码：文件内容（I0122120140811.chk）：I01221 |34622511 |10317392891 |12使用Hash
在Eclipse中用JAVA进行开发，突然有一天某个项目不能运行了，一运行就报错：“错误；找不到或无法加载主类……”错误: 找不到或无法加载主类 com.asiainfo.test.SFTP.MySFTP 引起这样错误的原因可能会有很多种，我这里只介绍一下我所遇到的这种情况：项目的Ja
引用百度百科：MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求
Sqoop执行命令： ./sqoop import --connect jdbc:oracle:thin:@10.112.101.251:1621:crmadbmr --username bass_etl --password 75!n!u6J --table DBPMSADM.PD_USERSVC_INFO
Sqoop 导入数据1、 本质上sqoop是一个hadoop的一个jobClient，负责定义hadoop job，然后将job提交到hadoop集群，只不过这个jobClient为了支持了能通过命令行来配置各种各样的job，做了很多处理。2、 sqoop实现了各种关系型数据库（oracle，DB2,Mysql）等等<->到hadoop(hafs,hbase)的导入导出。Sqoop的导
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
