大规模并行处理集群简称为MPP集群。
对整个系统来说,每个 节点的作用都是一样的,用户可以连接到其中的任何一个节点进行操作。而对每个用户会话来说,节点具有主从之分。用户会话实际连接的那个节点对该用户会话来说就是用户的主节点,其余的 节点都叫做从节点。
与其他集群相同,MPP集群主要的相互访问也是通过MAL系统来交互。也同样需要dmwatcher守护进程和dmmonitor进程来进行监控。
在集群系统上每台服务器上都需要配置两个EP节点,分别是主EP和从EP。每个服务器都是由业务网络和心跳网络两部分进行连接的。
部署规则类似于如下所示:
目录
1.MPP集群搭建时遇到的问题
1.1 问题1
1.2 问题2
2.MPP集群系统数据走向流程
3.MPP系统搭建配置文件配置(2节点)
3.1 dmarch文件
3.2 dmmal文件
3.3 dmmpp文件
3.4 dmwatcher文件
3.5 dmmonitor文件
3.6 启动监视器
1.MPP集群搭建时遇到的问题
mpp集群在搭建时主要遇到了两个问题,主要开始因为搭建之前学习的知识不够和自己搭建时候不太仔细造成的。所以在搭建之前一定要认真阅读技术手册。
1.1 问题1
没有准确理解mpp集群的系统原理和结构,盲目的认为系统结构跟主备集群差不多。然后把2节点的MMP集群布置在了4台服务器上。导致登陆数据库的时候提示全局登陆时远程连接失败。然后在网上一查说是把登陆模式改成local登陆就行了。!!!这是不对的!!!使用local模式登陆那还叫mpp集群吗!!!肯定是需要用global模式么。最后还是又认真的翻了一遍技术手册才搞明白是集群配置时没有遵循上面说的部署规则。
1.2 问题2
没有关闭防火墙。导致两个服务器节点的网络连不通。所以在系统服务器网络不通的情况下,应该首先想想是不是防火墙和的问题。
网络环境出现问题一般就下面这三个的问题:
1.远程服务启动不正常;
2.网络通信不正常(没关防火墙);
3.俩都不正常。
2.MPP集群系统数据走向流程
1. 建立连接
用户连接到 MPP集群 系统内任意一个节点上,根据上面说的,这个节点就被称之为用户的主节点,其他的节点全称为用户的从节点。
2. 生成执行计划
主节点开始分析操作语句,然后生成执行计划。
3. 分发计划
主节点然后把任务分发给各个从节点上。
4. 执行计划
各个从节点开始执行操作语句,并通过集群网络实时进行分配交流。
5. 生成结果集
主节点开始收集各个主从节点的结果集,并返回给用户;
3.MPP系统搭建配置文件配置(2节点)
3.1 dmarch文件
归档配置文件。集群系统通过MPP远程归档实现同步。1节点的主实例需要指定2节点上的备1实例的实时归档,2节点的主实例也需要指定1节点上的备2实例EP的实时归档。1节点上的备2实例需要指定节点2上的主2实例,2节点上的备1实例需要指定节点1上的主1实例。
3.2 dmmal文件
用来进行节点交流的mal系统的配置文件。两个节点的内容相同。注意配置好IP和端口,不要重复了,否则mal系统会连接不上。
3.3 dmmpp文件
mpp集群系统的概要文件,需要转换成2进制的dmmpp.ctl文件。
3.4 dmwatcher文件
dmwatcher文件主要进行节点之间的网络监控守护。所以只配置了两台服务器上的连接参数,跟主从实例没有了关系。
3.5 dmmonitor文件
集群监控文件。
3.6 启动监视器