雷顿学院 百万大咖》 互联技术视频直播访谈本期邀请嘉宾是 阿里饿了么资深架构工程师 郭新鹏先生，郭新鹏先生在服务端架构设计有着丰富的经验，此次直播访谈节目，他将为我们介绍在服务架构设计中涉及的 API网关设计，服务的弹性调度，单体结构和服务稳定性保障等方面的内容。感兴趣的朋友欢迎关注雷顿学院 百万大咖 直播访谈节目访谈主题：阿里饿了么百万并发服务端架构设计访谈嘉宾：郭新鹏 (阿里饿了么资深架构)直
hive
大数据学习大纲，hadoop全套课程，java全套课程体系，spark学习技术，kafka学习路线图
spark
在OLAP多维分析中，Count Distinct（去重计数）是一种非常常用的指标度量，比如一段时间内的UV、活跃用户数等等;从1.5.3开始，Apache Kylin提供了两种Count Distinct计算方式，一种是近似的，一种是精确的，精确的Count Distinct指标在Build时候会消耗更多的资源（内存和存储），Build的过程也比较慢；近似Count DistinctApache
本文作者：李栋，来自Kyligence公司，也是Apache Kylin Committer & PMC member，在加入Kyligence之前曾就职于eBay、微软。1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大的局限，如难以水平扩展、
“麒麟出没，必有祥瑞。” —— 中国古谚语Kylin思维导图前言随着移动互联网、物联网等技术的发展，近些年人类所积累的数据正在呈爆炸式的增长，大数据时代已经来临。但是海量数据的收集只是大数据技术的第一步，如何让数据产生价值才是大数据领域的终极目标。Hadoop的出现解决了数据存储问题，但如何对海量数据进行OLAP查询，却一直令人十分头疼。企
前面的一篇文章——数据仓库的多维数据模型中已经简单介绍过多维模型的定义和结构，以及事实表（Fact Table）和维表（Dimension Table）的概念。多维数据模型作为一种新的逻辑模型赋予了数据新的组织和存储形式，而真正体现其在分析上的优势还需要基于模型的有效的操作和处理，也就是OLAP（On-line Analytical Processing，联机分析处理）。数据立方体 关于数据立
本文根据2016年4月北京Apache Kylin Meetup上的分享讲稿整理，略有删节。美团各业务线存在大量的OLAP分析场景，需要基于Hadoop数十亿级别的数据进行分析，直接响应分析师和城市BD等数千人的交互式访问请求，对OLAP服务的扩展性、稳定性、数据精确性和性能均有很高要求。本文主要介绍美团的具体OLAP需求，如何将Kylin应用到实际场景中，以及目前的使用方式和现状。同时也将Kyl
http://www.cnblogs.com/wangrudong003/p/5535689.html
码字很辛苦，转载请注明来自运维人的《ELK+Kafka 企业日志收集平台(一)》背景：最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：传送门 ,关于E
雷顿大数据技术学院：http://www.leidun.site/简介与用途Elasticsearch是一个分布式，RESTful模式的高速搜索引擎，它使用标准的RESTful APIs和JSON，同时提供支持如java,python,php等的多种语言。下文将Elasticsearch简称ES。一个简单的curl查询数据的示例如下：curl -XGET 'localh
先安装java sdk1 下载elasticsearch2 解压下载包3 解压包里bin目录下运行 ./elasticsearch -d ，启动elasticsearch4 安装 ./plugin -i elasticsearch/marvel/latest ，可视化操作界面，打开http://10.16.59.141:9200/_plugin/marvel5 开始
Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词。例如：[html] view plain copycurl -XPOST "http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text=我是中国人
Streaming简介 Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
