早在2011年9月份就开始用了3个月时间学习hadoop、hbase、hive、nutch等东西，但当时没有明确的想法和充足的时间，后来就没有继续深入下去。有幸在今年春节之前的1个月的时间，做了hadoop、hbase相结合的简单开发，对hadoop相关有更深的理解，特在此补上年前未写的文章。 1、hadoop之hdfs: hadoop的底层存储文件系统协议，是h
转载
2023-07-12 13:18:13
95阅读
好程序员大数据培训分享之Hadoop的生态系统，这次，我整理了一下hadoop的生态系统。hadoop生态系统，意思就是以hadoop为平台的各种应用框架，相互兼容，组成了一个独立的应用体系，也可以称之为生态圈。通过以下的图：hadoop生态系统我们可以可以总结如下常用的应用框架（图中没有的，我也列出了几个）：1，HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一
转载
2023-07-14 16:33:24
93阅读
前言整理了一下目前常用的hadoop组件，后续将会对这些组件的具体应用场景和使用细节进行展开分析。如果大家发现有更好的建议欢迎大家在下方留言。生态圈数据存储：HDFSHDFS，它是 Hadoop 技术体系中的核心基石，负责分布式存储数据，你可以把它理解为一个分布式的文件系统。此文件系统的主要特征是数据分散存储，一个文件存储在 HDFS 上时会被分成若干个数据块，每个数据块分别存储在不同的服务器上。
转载
2023-09-24 19:28:14
114阅读
首先，大数据技术尚处在落地应用的初期，大数据生态圈尚未成熟，所以当前大型科技公司也纷纷开始布局打造自己的大数据生态体系，从大数据自身的价值空间来看，大数据生态圈的想象空间会非常大。生态圈的基础是产业链，所以要想了解大数据生态圈，首先就要从了解大数据的产业链开始。大数据产业链当前可以按照数据采集、数据存储、数据分析和数据应用来划分产业分工，不同的科技企业会专注于不同的环节，从而实现自己的价值增量。由
1. Hadoop概述1.1 Hadoop是什么Hadoop 是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的存储和海量数据的分析计算问题广义上来说，Hadoop 通常是指一个更广泛的概念——Hadoop生态圈1.2 Hadoop发展简史 Hadoop 是 Apache Lucene
转载
2023-07-03 20:00:23
242阅读
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 1、HDFS（分布式文件系统）HDFS是整个hadoop体系的基础 。功能：负责数据的存储与管理。HDFS有着高容错性（fault-tolerant）
转载
2023-07-30 19:34:51
155阅读
Hadoop生态介绍一、 大数据概述1.1 大数据主要处理的问题：大数据主要解决海量数据的存储和海量数据的分析计算问题。1.2 大数据特点 — 4V( Volume )大量( Velocity )高速( Variety )多样：结构、非结构化数据( Value )低价值密度二、 Hadoop2.1 Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构主要解决海量数据的
转载
2023-08-04 11:16:38
161阅读
首先，推荐一个比较全的Hadoop生态圈项目列表http://hadoopecosystemtable.github.io/ 其中大家耳熟能详的就是HDFS（存储），MapReduce（计算），Spark（大数据分析），HBase（BigTable数据库），Hive（类SQL数据库），Redis（KeyValue内存数据库），MongoDB（类关系型数据库），ZooKeeper（分布式协调系统）。
原创
2014-05-28 23:49:20
665阅读
Elasticsearch生态圈Elasticsearch主要功能1. 海量数据的分布式存储和集群管理
1. 服务和数据的高可用，水平扩展
2. 近实时搜索，性能卓越
1. 结构化/全文/地理位置/自动完成
3. 海量数据的近实时分析
1. 数据聚合Elastic Stack家族成员以及应用场景Logstash(做日志采集与处理)1. 开源的服务器端数据处理管道，支持从不同的来源采集数据，转
转载
2021-04-02 14:23:12
679阅读
2评论
一、Hadoop 1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！ 2.hadoop历史版本 hadoop 1.x HDFS: 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块！ MapReduce: 负责计算，负责计算资源的申请的调度！ 完成
原创
2021-07-20 09:21:11
354阅读
转载
2021-06-10 17:20:00
182阅读
2评论
1CIS是什么？CIS[1]即Center for Internet Security (CIS) 为安全基准计划提供了定义明确、公正、基于一致性的行业最佳实践来帮助组织评估和增强其安全性2Docker Bench SecurityDocker Bench for Security[2]是一个开源的脚本。它是基于CIS Docker Benchmark v1.3.1[3]规范的，用于自动化巡检在生
转载
2018-09-06 16:10:00
128阅读
2评论
文章目录1.简介2.环境准备3.安装hadoop3.修改Hadoop配置文件3.1.hadoop-env.sh配置3.2.core-site.xml配置3.3.hdfs-site.xml配置3.4.mapred-site.xml配置3.5.yarn-site.xml配置3.6.workers配置3.7.hadoop启动脚本配置4.启动集群4.1.复制hadoop安装包到从节点4.2.格式化Nam
转载
2023-09-01 10:28:07
195阅读
本文来自网易云社区 作者：刘凌阳 前言 公司社区上关于Vue的文章挺少的（少的可怜），不禁为Vue愤愤不平，此文应运而生。 但笔者水平有限，也写不了什么特别高深的东西，只能简单介绍下Vue生态圈，如有不对之处，还望指正。 Vue.js Vue.js是一款极简的 mvvm 框架，如果让我用一个词来形容
转载
2018-09-06 16:10:00
184阅读
2评论
从狭义上来说，Hadoop就是指Apache Hadoop项目所包含的软件。从广义上来说，Hadoop是指大数据的一个生态圈，包括很多其它的软件框架。HDFS是Hadoop体系中数据存储管理的基础，它是一个分布式文件系统。 MapReduce是面向大型数据处理的并行计算模型和方法，仅适合离线数据处理。 &
转载
2023-07-17 19:59:08
59阅读
Hadoop
一、Hadoop 是什么？Hadoop 是 Apache 旗下的一套开源软件平台。Hadoop 可以利用计算机集群，根据用户自定义的业务逻辑对海量数据进行分布式处理。通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。二、Hadoop 生态圈Hadoop 生态圈是指以 Hadoop 为基础发展出来的一系列技术。这些技术都是为了解决大数据处理过程中不断出
转载
2023-09-20 12:08:25
57阅读
1.hadoop架构及作用（1）Commonhadoop核心组件，基本jar包依赖，公共工具程序（2）HDFS（Hadoop Distributed File System）分布式文件系统，解决分布式存储（3）MapReduce分布式计算框架（4）Yarn分布式资源管理系统2.HDFS架构及功能（1）client 客户端linux window/sheel COMMAND-LINE java/sc
转载
2023-07-25 20:16:53
65阅读
大数据Hadoop生态圈-组件介绍 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。 Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示： 根据服务对象和层次分为：数据来源层、数据传输层、数据存储
转载
2023-07-14 09:41:25
279阅读
引言：随着大数据的不断发展，以及云计算等新兴技术的不断融合，Hadoop现在已经发展成为了一个生态圈，而不再仅仅是一个大数据的框架了。在Apache基金下，Hadoop社区已经发展成为一个大数据与云计算结合的生态圈，对于大数据的计算不满足于离线的批量处理了，同时也支持在线的基于内存和实时的流式计算。 了解完大数据的基础部分，Hadoop基础之后，接下来学习Hadoop生态圈的技术，这才是大数
