51CTO博客开发
所需环境(linux)CentOS【我用的是7】所需软件：git python gitosis openssh-client具体步骤：服务器端：有两个用户(同一台机子，当然你可以用两台机子)：一个是作为管理者用户qjjia（管家），一个用户（git）代码托放者（可以理解为仓库）[root@genitus-86-092 home]# useradd -m gi
GC（普通的理解）:用于在空闲时间以不定时的方式动态回收无任何引用的对象占据的内存空间。 1.Java堆中各代分布Young：主要是用来存放新生的对象。Old：主要存放应用程序中生命周期长的内存对象。Permanent：是指内存的永久保存区域，主要存放Class和Meta的信息,Class在被 Load的时候被放入PermGen space区域. 它和和存放Instance的Heap区域
HA： High Available（高可用集群）本次安装的hadoop2.5.2是64bit的，如果需要请在我之前的博文中规划节点数：（仅考虑HDFS 的HA）HDFS的节点分配：两个NN 且分布在两台主机三个DN节点三个JN节点两个ZKFC节点（必须和NN放在一台主机上）三个ZookeeperMapreduce的节点：一个ResourceManager（替代1.x时的JobTracker）三个
由于现在linux多用64bit，但是无奈haoop.apche官网只提供了32编译的hadoop2.5.2，只好自己编译。 （吐槽）之前，考虑用网上别人编译好的，直接拿来用，结果果断被坑。。。。所以自己有重新折腾了一下，最后我会把自己编译好的连接放在最后面，绝对不坑，下篇博客我我会用它搭建高可用分布式h
NameNode在启动的时候，需要将Mettadata加载到内存中去，随着集群扩大，元数据的量也随之增加，内存压力过大。Hadoop1.x的缺点和解决办法：单点故障------à HA 一主多备内存受限 -----àNN Federation Hadoop节点之间的通信都是采用心跳机制。元数据放在一片共享区（主NN和备NN共享）称为Journal Node 集群所有DN节点都
字数统计：MapReduce过程：写一个继承mapper的类，声明输入（基本固定）输出（看需求）类型重写map（K,V，context），map方法会被调用多次，每次调用map方法读取split传过来的一行数据，需要将这一行数据切割（StringTokeizer类，默认看空格切割） While遍历，通过context输出要书写一个程序主入口类，将程序打包发给JobTracker（移动计
MapReduce 如何解决负载均衡和数据倾斜：阶段主要出在Map作业结束后，shuffer（洗牌）过程中，如何将map处理后的结果分成多少份，交由Reduce作业，使得每部分reduce作业尽可能均衡处理数据计算。系统默认将partitions 按照Hash模运算分割（存储对象的hash值与reduce的个数取模），这样很容易出现数据倾斜，导致其中一个reduce作业分得大量数据计算
目录说明 在编译之前，我们需要先下载后hadoop 1.2.1的源码文件，并解压到合适的位置。目录结构如下：Eclipse： D:\eclipseHadoop： D:\hadoop-1.2.1Step1导入 Hadoop-eclipse 插件工程1. 下载hadoop-1.2.1.tar.gz,并解压缩到 D盘根目录下2. 在 Eclip
修改/etc/hosts /etc/hostname /etc/sysconfig/network 中的主机名 1.安装jdk，配置环境变量（1./etc/profile，2.hadoop/conf/hadoop-env.sh） 直接执行之前写好的脚本2.安装ssh 、rsync yum install ssh3.解压hadoop.tar.gz (可创建软连接：#
Datanode备份机制有各个dn节点自行控制，并不是由客户端发起。因为客户端远程传输消耗比各个dn节点传输消耗大（一般备份节点通常在一个机房，传输速度快） 安全模式类似系统初始化，这个时段一般是namenode加载metadata，datanode向namednode汇报各个节点block的位置信息的过程，安全模式可以通过命令强制离开，但是不建议
Hadoop生态系统概述以及版本衍化本文内容主要在于，整体把握Hadoop体系各个组成部分，及其各个组件的功能，宏观上阐述，为进一步学习hadoop，打下基础。 Hadoop生态系统的有点：1．开源免费，因为开源，所以用的也放心。2．社区活跃，容易沟通3．设计分布式存储和计算的方方面面4．已经在企业中良好运作 Hadoop1.0和2.0的区别Hadoop目前已经更新
权限管理：r:w:x:三类用户：u:属主G:属组O:其他用户chown：改变文件属主 (只有管理员才能操作)#chown USERNAME file, ... -R: 修改目录及其内部文件的属组， recursive --reference=/path/filename DESTINfilename，... 将目标文件的属性参照前者文件进行修改#chown USERNAME:GRPNA
Linux系统一般有4个主要部分：内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。部分层次结构如图1-1所示。 1. linux内核 内核是操作系统的核心，具有很多最基本功能，它负责管理系统的进程、内存、设备驱动程序、文件和网络系统，
每次都要卸载系统跟随的openjdk然后装orcle的jdk实在烦人，所以编写一个脚本执行就省心了，只要将下面的bash脚本和你所在下载的jdk-7u79-linux-x64.tar.gz包放在同一个文件夹即可。别忘记，给脚本执行权限#chmod +x shellname.sh#../shellname.sh#!/bin/bash#shell script to install jdk
/boot:系统启动相关的相关文件，如内核，initrd，以及grub(bootloader)/dev: 设备文件 设备文件： 块设备：随机访问，数据块 字符设备：线性访问，按字符文单位 设备号：主设备号（major）和次设备号（minor） /etc：配置文件/home：用户的家目录，每一个用户的家目录通常默认为/home/USERNAME/root: 管理员的家目录；/lib：库文件
bash及其特性：shell：外壳(也是一种程序)GUI：Gnome，KDE，XfceCLI:sh,csh,ksh(unix),bash,tcsh,ksh(linux),zshsh的特点：1.每一个用户打开一个shell都是占用不同的进程，尽管是同一个程序2.sh可以嵌套使用，bash里面可嵌套bash，可用pstree命令查看，子bash和父bash互不影响3.不同的shell也可以混用如bas
一般jvm大致内存分为：java栈、java堆、方法区、程序计数器、本地方法栈(有些资料上把java栈和本地方法栈归为一类)五大部分 栈（stock）也叫栈内存，是java程序的运行区，是在线程创建时创建，它的生命周期是跟随线程的生命周期，线程结束栈内存也就结束，所以对于栈来说不存在垃圾回收问题；栈中的数据都是以栈帧的格式存在的，栈帧一个内存区块，同时也是一
Java的垃圾回收机制是Java虚拟机提供的能力，用于在空闲时间以不定时的方式动态回收无任何引用的对象占据的内存空间。需要注意的是：垃圾回收回收的是无任何引用的对象占据的内存空间而不是对象本身；System.gc() Runtime.getRuntime().gc() 上面的方法调用时用于显式通知JVM可以进行一次垃圾回收，但真正垃圾回收机制具体在什
<?xml version="1.0" encoding= "UTF-8" ?><!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "ht
hibernate.cfg.xml<?xml version='1.0' encoding= 'utf-8'?><!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3.0//EN"&n
package com.cola.action;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import javax.servlet.http.HttpServletRequest;import org.apache.struts2.ServletAct
<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache.org/dtds/struts
package com.cola.struts;import com.cola.bean.Book;import com.opensymphony.xwork2.ActionSupport;import com.opensymphony.xwork2.ModelDriven;@SuppressWarnings("all")public class UserAction extends Action
<? xml version= "1.0" encoding= "UTF-8" ?>< web-app xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" xmlns= "http://java.sun.com/xml/ns/javaee" xsi:schemaLocation ="http://java.sun.com/
import java.io.File; public class Test2 { public static void main(String[] args) { File file = new File("D://cola"); for(String f: file
import java.io.File;import java.io.IOException;public class Test2{ public static void main(String[] args) throws IOExcept
var pattern = new RegExp("box");alert(pattern);var pattern = new RegExp("box","g");alert(pattern);var pattern = /box/i;var str = "
import java.io.*; public class InputStr { public static void main(String [] args) throws Exception { &n
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
