乐胖代购免代理版

win7+eclipse用maven构建hadoop项目注意事项

1、首先在Eclipse-》help-》Eclipse marketplace 搜索 maven 插件下载。注意插件要与Eclipse版本对应，我的Eclipse版本为Luna的，插件就要下载Luna版本的，我下载的是 Maven Integration for Eclipse (Luna and newer) 1.5。否则的话新建maven工程的时候没有

Eclipse

maven

hadoop

pom

原创 2014-12-19 10:52:59 3995 阅读

win7+eclipse配置Hadoop开发环境注意事项

1、需把hadoop.dll 和 winutils.exe 放到hadoop的bin目录下，我的是：E:\Hadoop\hadoop-2.4.0\bin2、且需要配置HADOOP_HOME 和 PATH 路径。我的如下： HADOOP_HOME——E:\Hadoop\hadoop-2.4.0 &nbs

Eclipse

log4j

hadoop

win7

原创 2014-12-19 09:51:04 2894 阅读

运行WordCount报错：java.lang.OutOfMemoryError: Java heap space

原因是客户端程序运行时java虚拟机内存分配不够，修改run configuration（run as >run configurations），选择Arguments选项卡，在VM arguments栏中加入-Xmx1024m，保存后执行没有问题（即将执行时虚拟机内存调大）

MapReduce

Hadoop

Wordcount

原创 2014-07-04 14:27:44 1490 阅读

namenode无法启动：java.io.FileNotFoundException: .log (Permission denied)

在启动集群的时候，namenode无法启动，用tail命令查看log,可以看到出现如下错误：[hadoop@master hadoop]$ tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.out log4j:ERROR setFile(null,t

Hadoop

Permission denied

namenode

原创 2014-06-01 21:34:33 8506 阅读

Mahout安装与配置笔记

一、硬件环境操作系统：Linux ubuntu-13.04-desktop-i386jdk安装版本：jdk-7u51-linux-i586Hadoop版本：Hadoop-1.1.1（一个Namenode，三个Datanode部署）二、安装步骤在Mahout安装之前读过几篇有关机器学习的文章，面对协同过滤、分类聚类等算法的讲解我是深感无力啊，那么深奥的算法实现简直看着就要哭了好嘛，但庆幸的是Maho

安装

配置

hadoop

mahout

转载精选 2014-06-01 15:40:56 5375 阅读

关于自动分裂的思考

自动分裂是分布式系统中的一项重要技术，通常与自动迁移和负载均衡一起考虑，提供了系统的可扩展性和良好的性能。例如 Google 的 BigTable 和 Yahoo 的 PNUTS 都实现了类似的功能，我之前也认为这应该是一个好的分布式系统标配。但读了 Facebook 关于实时 Hadoop 的文章后，结合我自己在工程上的实践，我开始反思这一想法，认识到了这个功能的一些局限性。Facebook 在

分布式

Facebook

Hadoop

HBase

自动分裂

转载精选 2014-05-28 09:57:55 738 阅读

FACEBOOK的实时HADOOP系统

Facebook 在今年六月 SIGMOD 2011 上发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 (pdf)，介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处，因而抽时间仔细阅读了这篇论文。下面便是结合论文的内容，谈一谈我的一些看法和感想

实时

Facebook

Hadoop

转载精选 2014-05-28 09:51:30 1009 阅读

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝（TFS）

一、概述手机图片或者像淘宝这样的网站中的产品图片特点：（1）、大量手机用户同时在线，执行上传、下载、read等图片操作（2）、文件数量较大，大小一般为几K到几十K左右 HDFS存储特点：（1）流式读取方式，主要是针对一次写入，多次读出的使用模式。写入的过程使用的是append的方式。（2） &n

TFS

Hadoop

HDFS

小文件

HayStack

转载精选 2014-05-26 10:45:53 6133 阅读

HBase技术介绍

HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce

介绍

Hadoop

Hbase

转载精选 2014-05-23 16:13:55 675 阅读

Linux下Hadoop Eclipse插件编译安装

转载自：http://www.cnblogs.com/kinuxroot/archive/2013/05/06/linux_hadoop_eclipse_plugin.html 在RedHat，hadoop1.1.2下测试通过。有些地方注明详细了。刚刚开始研究Hadoop，在写Map Reduce程序的时候觉得用vim不够用，于是想在Eclipse下面配置一下相关的环境。按照Hadoop in A

linux

RedHat

eclipse

插件

编译

hadoop

转载精选 2014-05-04 14:13:28 574 阅读

HDFS Federation(HDFS 联盟)介绍

本文转载自：http://blog.csdn.net/strongerbit/article/details/7013221HDFS Federation(HDFS 联盟)介绍张贵宾guibin.beijing@gmail.com2011.11.251. 当前HDFS架构和功能概述我们先回顾一下HDFS功能。HDFS实际上具有两个功能：命名空间管理（Namespace management）和块/

联盟

hadoop

hdfs

federation

转载精选 2014-05-01 16:48:11 1536 阅读

gcc编译和运行hadoop c api程序

gcc hdfs_cpp_demo.c -I $HADOOP_HOME/src/c++/libhdfs -I $JAVA_HOME/include -I $JAVA_HOME/include/linux/ -L $HADOOP_HOME/c++/Linux-i386-32/lib/ -l hdfs -L $JAVA_HOME/jre/lib/i386/server -ljvm -o hdfs_cp

运行

编译

gcc

c

hadoop

原创 2014-05-01 12:59:07 1740 阅读

解决方案：datanode无法启动之"Incompatible namespaceIDs in ..."

启动hadoop的时候，datanode无法启动，使用如下命令查看日志信息：tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-datanode-master.log提示以下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: I

无法启动

hadoop

datanode

原创 2014-04-23 10:22:49 1727 阅读

解决办法：“Cannot lock storage /data/hadoop/hdfs/name. The directory is already locked.”

在启动hadoop的时候，会出现namenode节点启动不起来的情况。这时用以下命令查看日志：tail -100f /usr/local/hadoop/libexec/../logs/hadoop-hadoop-namenode-master.log可以看到出现如下的提示错误信息：Cannot lock storage /data/hadoop/hdfs/name. The directory i

无法启动

hadoop

namenode

原创 2014-04-22 19:58:18 10000+阅读

[Hadoop] Error: JAVA_HOME is not set

在控制台启动脚本%HADOOP_HOME%/bin/start-dfs.sh的时候发现datanode报错：Error: JAVA_HOME is not set原因是在%HADOOP_HOME%/conf/hadoop-env.sh内缺少JAVA_HOME的定义，只需要在hadoop-env.sh中增加：export JAVA_HOME=/your/jdk/root/path

hadoop

JAVA_HOME is not set

转载精选 2014-04-20 22:22:31 1512 阅读

[学习笔记]王家林老师：从技术角度思考Hadoop到底是什么

Hadoop：适合海量数据的分布式存储与计算平台Hadoop核心项目：HDFS：Hadoop Distributed File System 分布式文件系统MapReduce：并行计算框架 HDFS的架构主从结构- 主节点，只有一个：namenode- 从节点，有很多歌：datanodesnamenode负责：- 接收用户操作请求- 维护文件系统的目录结构- 管理文件与block之间关

笔记

介绍

hadoop

原创 2014-04-04 17:18:59 742 阅读

hadoop学习之hadoop完全分布式集群安装

注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自：http://blog.csdn.net/ab198604/article/details/8250461要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集

安装

虚拟机

集群

hadoop

转载精选 2013-12-08 22:45:40 921 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大白菜

win7+eclipse用maven构建hadoop项目注意事项

win7+eclipse配置Hadoop开发环境注意事项

运行WordCount报错：java.lang.OutOfMemoryError: Java heap space

namenode无法启动：java.io.FileNotFoundException: .log (Permission denied)

Mahout安装与配置笔记

关于自动分裂的思考

FACEBOOK的实时HADOOP系统

HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝（TFS）

HBase技术介绍

Linux下Hadoop Eclipse插件编译安装

HDFS Federation(HDFS 联盟)介绍

gcc编译和运行hadoop c api程序

解决方案：datanode无法启动之"Incompatible namespaceIDs in ..."

解决办法：“Cannot lock storage /data/hadoop/hdfs/name. The directory is already locked.”

[Hadoop] Error: JAVA_HOME is not set

[学习笔记]王家林老师：从技术角度思考Hadoop到底是什么

hadoop学习之hadoop完全分布式集群安装

欢迎