更多代码请见：https://github.com/xubo245/SparkLearning环境：hadoop-2.6.0spark-
原创
2023-01-04 10:56:13
39阅读
环境ubuntu 14.04Spark-1.5.2Tachyon-0.7.11．由于最近用的Spark-1.5.2系统默认的tachyon为0.7.1，在Spark-core的pom.xml可以查看另外虽然现在Tachyon改名为Alluxio ，但是不影响这个版本的使用2.单机版搭建：下载地址：https://github.com/Alluxio/al
原创
2023-01-04 11:01:21
109阅读
1.虚拟机与Linux Spark+Tachyon+HDFS（HDFS擅长迭代运算，Tachyon基于内存分布式系统） Spark是一个计算框架，需要相应的存储框架。目前是基于下面三种存储： 1.Hadoop的HDFS 2.S3，也就是云存储 3.Tychyon（业界在越来越多使用） Spark+Tachyon+HDFS，将来是黄金组合 Tychyon是基于内存的分布式存储（分布式内
转载
2023-10-01 09:11:55
93阅读
redis集群
转载
2021-04-18 16:55:44
323阅读
2Redis集群的搭建2.1集群搭建环境（ruby环境）redis集群管理工具redis-trib.rb依赖ruby环境，首先需要安装ruby环境：第一步：安
原创
2022-12-30 11:03:37
99阅读
一.搭建 redis集群需要至少三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点，这里用三台机器部署6个redis实例，每台机器一主一从。 &nb
转载
2023-05-25 09:09:20
97阅读
介绍安装环境与版本用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。Redis 采用 redis-3.2.4 版本。两台虚拟机都是 CentOS ，一台 CentOS6.5 (IP:192.168.31.245)，一台 CentOS7(IP:192.168.31.210)。安装过程1. 下载并解压2. 编译安装3. 将 redis-trib.rb
转载
2023-08-15 09:59:22
67阅读
六个worker只启动了3个：hadoop@Master:~/cloud/alluxio-0.7.1$ ./bin/tachyon formatConnecting to Mcnode1 as hadoop...Formatting Tachyon Worker @ Mcnode1Connection to mcnode1 closed.Connecting to Mcnode2 as hadoo
原创
2023-01-04 11:04:28
74阅读
Redis集群介绍redis集群是在redis 3.0版本推出的一个功能，其有效的解决了redis在分布式方面的需求。当遇到单机内存，并发和流量瓶颈等问题时，可采用Cluster方案达到负载均衡的目的。并且从另一方面讲，redis中sentinel有效的解决了故障转移的问题，也解决了主节点下线客户端无法识别新的可用节点的问题，但是如果是从节点下线了，sentinel是不会对其进行故障转移的，并且连
转载
2023-09-08 21:04:50
211阅读
##集群规划 要让Redis3.0 集群正常工作至少需要3 个Master 节点，要想实现高可用，每个Master 节点要配备至少1 个Slave 节点。根据以上特点和要求，进行如下的集群实施规划： 使用6 台服务器（物理机或虚拟机）部署3 个Master + 3 个Slave；IP服务端口（默认6379）集群端口（服务端口数+10000）10.1.200.7771111711110.1.200.
转载
2023-07-21 21:23:56
36阅读
主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master slav
转载
2023-01-16 15:53:45
56阅读
1、Redis的官网：https://redis.io/ Redis的测试网站：http://try.redis.io/2、参考博客：https://www.cnblogs.com/mafly/p/redis_cluster.htmlhttp://blog.mayongfa.cn/258.html3、Centos操作系统中Redis的安装：开始使用的hadoop用户和自己指定的目录，然后...
原创
2021-06-03 19:52:04
441阅读
1、Redis的官网：https://redis.io/ Redis的测试网站：http://try.redis.io/
2、参考博客：javascript:void(0)
http://blog.mayongfa.cn/258.html
windows安装参考：javascript:void(0)
3、Centos操作系统中Redis的安装：
开始使用的hadoop用户和自己指定的目
转载
2018-06-12 19:43:00
300阅读
2评论
Redis集群搭建详解概述搭建步骤一、编译二、创建集群目录及实例三、启动集群四、操作集群 概述Redis集群一般有两种实现方式：一种是创建多个Redis实例节点，通过一致性Hash算法将数据大致均匀的存储在不同的节点上，大多数编程语言都有相关的第三方实现，比如JRedis，PRedis等；另一种则是Redis官方提供的基于Hash槽实现集群解决方案。本文主要记录第二种集群方式的搭建过程，采用虚拟
转载
2023-06-13 10:53:43
65阅读
一、Redis的集群方式使用slaveof命令和哨兵模式，会产生中心化的问题，即客户端所有的写请求都由master节点处理，并且master节点只有一个，这个节点处理了写请求和复制数据到slave节点的功能，致使master节点很容易崩溃掉，最好的方式就是使用多个master节点来搭建集群。二、1、安装Redis将redis-3.2.1.tar.gz安装包放到 /usr/local目录下tar -
转载
2023-09-06 14:19:55
47阅读
目录一、什么是Elk?ELK分别代表：Elasticsearch：负责日志检索和存储Logstash:负责日志的收集分析，处理Kibana:负责日志的可视化Filebeat隶属于Beats。二、Elk可以做什么？三、ELK架构：架构一：Elasticsearch + Logstash + Kibana架构二：Elasticsearch + Logstash + Filebeat + Kibana架
老哥絮叨上篇文章我们大致介绍了什么是MySQL主从复制，主从复制的几种集群架构图大概都有哪几种，今天我们就来讲讲如何实现MySQL集群的搭建。主从复制有两种方式可以实现，binlog和GTID，这期我们先通过binlog方式来实现，下篇我们来讲binlog的原理，和注意事项。大赞点起来，在看刷起来。如果你觉得通过老哥的文章能学到一些知识，请把老哥推荐给你的朋友。分享是一件快乐的事，我们一起来玩Ja
KETTLE完全分布式集群搭建和示例
原创
2020-05-29 15:00:00
2711阅读
点赞
consul集群搭建和springboot服务发现由于系统准备重构库存模块，以微服务的方式处理出入库和库存占用情况。但是单个服务容易宕机导致整个应用中断，所以需要用consul做服务注册和发现防止单点故障。1.准备3台centos7的虚拟机192.168.5.211192.168.2.60192.168.2.612.3台虚拟机安装consulyuminstallyyumutilsyumconfig
原创
2023-02-04 10:43:48
248阅读
consul集群搭建和springboot服务发现 由于系统准备重构库存模块，以微服务的方式处理出入
原创
2023-07-12 16:37:05
68阅读
