官方文档地址http://hadoop.apache.org/common/docs/r1.0.3/
http://www.tbdata.org/
下载到：jdk-6u26-linux-x64.bin and hadoop-1.0.3.tar.gz
它有三种模式：
Local (Standalone) Mode
原创
2012-06-03 14:57:59
769阅读
可以到http://hadoop.apache.org/ 网站查看
hadoop比较适合处理大文件。
hadoop 分三种模式：
单机模式；伪分布式模式；完全分布式模式
所需软件：Java ，ssh
首先安装java
lftp 192.168.0.254 get jdk-6u32-linux-x64.bin
sh jdk-6u32-linux-x64.bin
原创
2012-09-17 22:01:14
788阅读
Hadoop 完全支持 MapReduce 模型， MapReduce 模型是谷歌公司为了在廉价的计算机集
群上处理以 P 数量级计算的大数据集而提出的一个解决方案。这个解决方案把解决问题分
成两个不同的步骤:

Map: 初始化数据的读入和转换，在此期间，框架对互不依赖的输入记录进行并行
处理。

Reduce: 处理数据的组合和抽样，有关联的数据必须通过一个模块进行集中处理。
Hadoop 中 MapReduce 的核心概念是把输入的数据分成不同的逻辑块， Map 任务首先并
行的对每一块进行单独的处理。这些逻辑块的处理结果会被重新组合成不同的排序的集合，
这些集合最后由 Reduce 任务进行处理。
推荐
原创
2013-09-28 21:23:52
1257阅读
点赞
一、HDFS简介 HDFS的全称是Hadoop Distributed File System，分布式文件系统。 1.HDFS的文件系统结构： 2.
为什么需要分布式存储分布式调度去中心化模式中心化模式以一个节点为中心，去调度其他节点主从模式HDFS,主从架构服务规划操作如下红色部分是比较重要的配置Hadoop准备数据目录
一、前提和设计目标(6点)硬件错误：硬件错误是常态，错误检测和快速、自动的恢复是HD
原创
2023-06-07 09:44:20
77阅读
Hadoop 分布式文件系统（HDFS）是运行在通用硬件上的分布式文件系统。HDFS 提供了一个
高度容错性和高吞吐量的海量数据存储解决方案。HDFS 已经在各种大型在线服务和大型存
储系统中得到广泛应用，已经成为海量数据存储的事实标准。
随着信息系统的快速发展，海量的信息需要可靠存储的同时，还能被大量的使用者快速地访
问。传统的存储方案已经从构架上越来越难以适应近几年来的信息系统业务的飞
转载
精选
2012-09-19 15:29:36
1174阅读
在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就完成了访问 控制以及统计的工作。然而未来，对于海量日志分析的工作，还是需要有所准备。现在最火的技
转载
精选
2011-03-04 13:39:39
1483阅读
点赞
2评论
1、分布式文件系统与HDFS
<1>分布式系统文件系统的特点：
（1）数据量越来越多，在一个操作系统管辖的范围存储不了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机 器上的文件，这就是分布式文件管理系统。
（2）分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
（3）通透性
转载
2024-01-08 18:23:47
16阅读
在安装之前需要先做好以下几点准备： 1.首先准备好三台虚拟机，每台虚拟机都已经安装好JDk环境。 2.确定每台虚拟机的网络连接正常。ssh免密配置完成。 3.确认自己主机的ip地址，主机名。 我的是 master 192.168.174.170 slave1 192.168.174.171 slave2 192.168.174.172 以上任何一点有问题，我的博客都有详细安装教程，供大家参考。 下
转载
2023-09-16 02:42:17
43阅读
一、HDFS设计基础和目标# 硬件错误是常态，以此要有冗余。# 流式数据访问。数据批量读取（而不是随机读取）、Hadoop擅长数据分析（而不是事务处理）。# 大规模数据集# 简单一致模型。为降低系统复杂性，对文件采用一次写入多次读取的方式（文件写入之后就不能修改了）# 程序采用“数据就近”原则分配节点执行二、HDFS体系框架# NameN
原创
2022-10-28 11:34:58
149阅读
Hadoop HDFS分布式文件系统具有如下特点：1.非常适合PB级以上海量数据的存储和处理，已在Yahoo、亚马逊、Facebook、百度、淘宝等海量数据处理平台上得到了广泛验证。2.系统可以扩展性高，只需要简单添加服务器数量，即可实现存储容量和计算能力的线性增长。3.数据冗余度高,缺省每份数据在3台服务器上保留副本。4.适合/流式访问(Streaming access),即一次写入,多次读取,
原创
2013-05-21 09:51:22
1330阅读
Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景（日志分析和索引建立就是两大应用场景）。今天我们来实际搭建一下Hadoop 2.2.0版，实战环境为目前主流服务器操作系统CentOS 5
原创
2014-02-13 21:48:23
657阅读
前言* Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景（日志分析和索引建立就是两大应用场景）。今天我们来实际搭建一下Hadoop 2.2.0版，实战环境为目前主流服务器操
推荐
原创
2013-11-27 13:22:29
5594阅读
点赞
22评论
Distributed File System：（分布式文件系统） 由来：随着数据量的越来越多，在一个操作系统管辖的范围存不下了，那么就需要分配到更多的操作系统管理的磁盘中，但是这样不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件系统。 1.是一种允许文件通过网
原创
2014-03-04 13:53:29
1196阅读
分布式文件系统（DFS）
2009-02-03 13:29:31
标签：文件系统 分布式 DFS [
转载
精选
2009-05-07 17:01:52
760阅读
什么是文件系统？ 文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化：数据是以文件的形式存在，提供 Open、Read、Write、Seek、Close 等 API 进行访问； 文件以树形目录进行组织，提供原子的重命名（Ren
转载
2022-11-04 09:44:38
86阅读
