记录一些Hive的优化点,和能够提升的效率差异。Hive是目前应用最多最广的SQL on Hadoop工具,近期很多专业的大数据公司推出了很多新的,基于列式或者内存热数据的SQL工具,像Impala,Tez,Spark等等,但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中,淘宝90%的业务跑在Hive上面。暴风影音的比例更高一些,大概95%以上
推荐
原创
2013-09-12 18:19:35
10000+阅读
点赞
3评论
Zeppelin启用https过程和Hack内核以满足客户需求的记录。原因是这客户很有意思,该客户中国分公司的人为了验证内网安全性,从国外找了一个渗透测试小组对Zeppelin和其他产品进行黑客测试,结果发现Zeppelin主要俩问题,一个是在内网没用https,一个是zeppelin里面可以执行shell命令和python语句。其实这不算大问题,zeppelin本来就是干这个用的。但是渗透小组不
推荐
原创
2017-11-02 19:25:32
10000+阅读
点赞
3评论
一、源码包编译安装源码包概述源码包是指软件的原始代码压缩包,用户可以通过编译源码来生成可执行程序。这种方式有以下特点:自定义安装位置:通常默认安装在/usr/local目录,但用户可以通过配置选项指定其他位置。集中化安装:可以将多个软件集中安装到一个目录中,便于管理。版本更新:源码包提供的版本通常比预编译的包(如RPM包)更新。选择性安装:可以选择安装软件的不同功能模块。编译安装步骤配置环境:安装
一、用户的基本概述用户指的是能够正常登录Linux或Windows系统,只不过Linux支持同一时刻多个用户同时登陆,且登陆后相互之间操作并不影响。用户为:超级用户与普通用户多个用户为一个组,一个用户可以加入多个组创建用户的意义在于:系统上的每一个进程(运行的程序),都需要一个特定的用户运行通常在公司是使用普通用户管理服务器,因为root权限过大,容易造成故障。查看用户的信...
原创
2021-09-07 16:04:03
197阅读
点赞
有志者,事竟成,破釜沉舟,百二秦关终属楚;苦心人天不负,卧薪尝胆,三千越甲可吞吴
原创
2019-01-29 16:56:47
698阅读
Linux运维第三阶段(十一)iptables iptables linux防火墙:netfilter(框架framework);iptables(生成防火墙规则并将其附加在netfilter上,真正实现数据报文过滤、NAT、mangle等规则生成的工具);真正起作用的是规则,规则放在netfilter上才能生效 网络防火墙的功能根据TCP/IP首部实现的IP报文(见
原创
2015-11-05 15:38:50
1047阅读
“双十一”即指每年的11月11日,由于日期特殊,因此又被称为光棍节。而大型的电子网站一般会利用这一天来进行一些大规模的打折促销活动,以提高销售额度。它们选择“双十一”促销也是为了错开线下促销的周期。国庆、圣诞、元旦都是实体店促销的时间节点,于是从国庆假期后至圣诞节前实体店会形成促销的真空期,但是为了完成销售任务,商家必须提前在11月发力。从2009年11月11日,淘宝商城举办了第一届双十一促销到现
转载
精选
2013-11-27 10:09:13
1259阅读
一、DNS:域名解析互联网上的dns服务器都是用BIND:BerkeleyInternetNameDomain解析的1、DNS:DomainNameService域名:www.baidu.com(主机名,FQDN:FullQualifiedDomainName,完全限定域名)DNS:名称解析,NameResolving名称转换(背后有查询过程,数据库)2、TLD:组织域:.com,.org,.ne
原创
2019-02-27 18:25:11
558阅读
文件:ggedit路径:$HOME/ggscript功能:该脚本用于选择使用其他脚本通过alias别名初始化入.profile和.bash_profile文件,以edit指令方式使用#!/bin/bash
echo "Select an action you want to perform"
select ch&nb
原创
2017-06-19 03:50:35
1185阅读
1. 背景说明 生产环境下openstack使用了vlan的的网络模式,针对业务需求不同,设置不同的网段,分别放置在不通的vlan中,通过vlan的方式,实现网络的隔离,网络相关的策略,可以通过现有的交换机,防火墙来设置。有时候,业务申请的虚拟机使用一段时间之后,需要将网络A切换至另外一个网络B,并且需要保留原有的虚拟机和数据,对于这种场景,就可以通过neutron端口替换的方式实现。
原创
2016-01-23 14:10:37
3110阅读
1、源码编译安装LNMP架构环境;(1)安装编辑工具和环境yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2&n
原创
2017-04-17 14:58:18
1029阅读
点赞
随着云计算和互联网的高速发展,大量应用需要横跨不同网络终端,并广泛接入第三方服务(如支付、登录、导航等),IT系统架构越来越复杂。快速迭代的产品需求和良好的用户体验,需要IT运维管理者时刻保障核心业务稳定可用,而企业运维中的痛点和难点也急需解决。1、面向业务的运维,不但关心单点IT资源的运行状态,更关心整个业务系统的健康状态2、如果企业使用了大量的API和模块化应用,那么关注每个接口的性能变化情况
原创
2021-03-09 15:25:24
709阅读
一、计划任务基本概述什么是crondcrond就是计划任务,类似于我们平时生活中的闹钟。定点执行。为什么要使用crondcrond主要是做一些周期性的任务,比如: 凌晨3点定时备份数据。比如:11点开启网站抢购接口,12点关闭网站抢购接口。计划任务主要分为以下两种使用情况:系统级别的定时任务: 临时文件清理、系统信息采集、日志文件切割用户级别的定时任务: 定时向互联...
原创
2021-09-07 15:55:22
136阅读
Linux运维 第二阶段 (十一)服务管理inetd-->Xinetd(X,X-man,管理N个非独立守护进程) standalone(独立守护进程,响应速度快,适用于被访问非常频繁的服务)transient(瞬时守护进程,非独立守护进程,由xinetd统一管理,节约资源,适用于访问量少的服务) #yum -y install telne
原创
2015-05-16 19:19:17
1015阅读
十一201.MediaPlayer简单实现 滑动音量 和 进度条202.MediaPlayer获取文件信息 和 设置
原创
2021-08-10 13:38:39
95阅读
参考:http://www.jianshu.com/p/167721f86c20 http://www.docin.com/p-1399717573.html关于蘑菇街:中国最大的女性时尚社交电商平台。成立于2011年,总部位于浙江杭州, 目前(2015.Q3)拥有1.3亿注册用户,双十一日UV超2000万。2015.11.21日宣布完成D轮融资,并实施"一街双城"战略,杭州+北京,杭
转载
精选
2016-06-03 18:33:49
943阅读