一、HDFS学习 一）HDFS概述（Hadoop分布式文件系统） 1、HDFS简述 源自于Google的GFS论文，发表于2003年10月，HDFS是GFS克隆版。
原创
2022-08-11 17:10:07
183阅读
一. 前提和设计目标1. 硬件错误是常态,因此需要冗余,这是深入到HDFS骨头里面去了 HDFS可能由成百上千的服务器所构成，每个服务器上存储着文件系统的部分数据。我们面对的现实是构成系统的组件数目是巨大的，而且任一组件都有可能失效，这意味着总是有一部分HDFS的组件是不工作的。因此错误检测和快速、自动的恢复是HDFS最核心的架构目标2. 流式数据访问即:数据批量读取而非随机读写(OLTP
实验一：HDFS的操作实践一、 HDFS Shell 实践 （1）创建文件夹 hadoop fs -mkdir /dateset hadoop fs -mkdir /user （2）显示文件目录下的内容 hadoop fs -ls /图表 1创建文件夹并查看 （3）将本地文件上传至HDFS 创建一个txt文件,上传至HDFS的/dataset目录下，在文件写入hello world hadoop
转载
2023-07-18 11:38:19
43阅读
Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）
分布式文件系统是一种同意文件通过网络在多台主机上分享的文件系统。可让多机器上的多用户分享文件和存储空间。
hdfs仅仅是当中一种。适用于一次写入、多次查询的情况。不支持并发写情况。小文件不合适。
2.HDFS架构
HDFS採用master/slave架构。一个HDFS
转载
2016-02-20 09:24:00
230阅读
2评论
Hadoop Distributed File System 简称HDFS一、HDFS设计目标1、支持海量的数据，硬件错误是常态，因此需要 ，就是备份2、
原创
2022-06-15 09:21:00
84阅读
一、分布式文件系统与HDFS数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 通透性。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般
原创
2021-07-06 17:25:42
101阅读
一、分布式文件系统与HDFS数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统
原创
2022-02-18 10:31:38
52阅读
一、HDFS文件限额配置 在多人共用HDFS的环境下，配置设置非常重要。特别是在Hadoop处理大量资料的环境，如果没有配额管理，很容易把所
原创
2022-09-23 18:03:05
95阅读
一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式
原创
2022-09-23 18:02:44
129阅读
HDFS 的 API 操作 使用url方式访问数据（了解） @Test public void urlHdfs() throws IOException { //1.注册url URL.setURLStreamHan
原创
2022-09-23 18:03:20
78阅读
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）
原创
2022-03-04 10:20:06
24阅读
上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。搭建安装三个核心组件一个hadoop基本集群,牵涉三个组件:hdfs 负责分布式的文件存储yarn 负责分布式的资源管理mr 负责分布式计算安装配置环境变量配置etc/hadoop/hadoop-env.sh、etc/hadoop/ha
转载
2021-04-04 22:58:27
327阅读
2评论
第1章 HDFS概述1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小（面试重点）
原创
2021-08-18 10:08:30
64阅读
1.查看hdfs文件的block信息 不正常的文件 hdfs fsck /logs/xxx/xxxx.gz.gz -files -blocks -locations Connecting to namenode via http://xxx-01:50070/fsck?ugi=xxx&files=1
转载
2019-07-15 11:51:00
111阅读
2评论
1、什么是大数据？什么是云计算？什么是hadoop？ 大数据现在很火，到底什么是大数据，多大的数据才算大，一般而言对于TB级以上的数据我们成为大数据，对于这些数据它的价值在哪？大数据的价值就是我们大量的数据中分析出有价值的信息，来判断一些行为等等信息。而这些大数据存储在哪？如何进行分析？这就衍生了H
转载
2017-07-12 21:34:00
82阅读
2评论
# Spark机器学习与HDFS的完美结合
## 引言
在大数据时代，数据的存储与处理是每个企业面临的重要课题。Apache Spark作为一个快速通用的大数据处理引擎，配合Hadoop分布式文件系统（HDFS）提供了高效的数据存储与机器学习能力。本文将简要介绍Spark机器学习与HDFS的关系，并通过代码示例和相应的类图、饼状图来展示其基本应用。
## Spark与HDFS概述
###
今天学习了HDFS，学习了HDFS的读写流程，学会了节点距离计算，对机架感知也有了一些了解。 写流程： 读流程： 节点距离计算： 两个节点到达最近的共同祖先的距离总和。 学习了nn和2nn的机制。 了解内存、fsimage和edits的关系。 操作都会放在edits中，每次关机时间内或2nn的定时时 ...
转载
2021-08-11 20:10:00
83阅读
2评论
洋哥YARN和HDFS实践系列大作，这是第三篇，前面两篇分别是：Yarn【label-basedscheduling】实战总结（一）Yarn【label-basedscheduling】实战总结（二）1.1机架感知(RackAwareness)概述通常，大型Hadoop集群会分布在很多机架上。在这种情况下，--希望不同节点之间的通信能够尽量发生在同一个机架之内，而不是跨机架。--为了提高容错能力，
原创
2021-03-16 20:17:14
486阅读
洋哥YARN和HDFS实践系列大作，这是第三篇，前面两篇分别是：Yarn【label-based sched
原创
2021-07-14 10:33:38
349阅读
Flink自带Exactly Once语义，对于支持事务的存储，可以做到数据的不重不丢。 当使用Flink来写hdfs的时候，因为hdfs文件只能在末尾进行append，如果要做到数据不重不丢，hdfs在2.7.0及其以上的版本中提供了truncate功能，可以根据valid-length长度对hd
转载
2016-04-01 19:59:00
632阅读
2评论
