1、简介
DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。
2、主要有以下特性:
极易部署，1小时可完成300节点的大数据集群部署 国产化兼容，兼容ARM服务器和常用国产化操作系统 监控指标全面丰富，基于生产实践展示用户最关心的监控指标 灵活便捷的告警服务，可实现用户自定义告警组和告警指标 可扩展性强，用户可通过配置的方式集成或升级大数据组件
3、整体架构
以下是GitHub上官方给出的平台整体架构图：
开源地址:https : / /github.com / gaodayu168/datasophon
在线文档: https : / / gaodayu168.github.io/datasophon-website
4、安装包
DataSophon涉及的安装包有三部分，如下所示：
DDP-1.0.0：大数据组件的tar包，包括hadoop、spark、kafka等dist.zip：前端UI资源文件datasophon-manager-1.0.0.tar.gz：datasophon管理平台安装包
在公众号：浮世Talk 后台回复 DDP 即可获取安装包下载地址。
在服务器创建以下目录结构，用作项目部署包仓库地址：
将DDP-1.0.0目录下的文件下载并上传到/opt/datasophon/DDP/packages目录下：
下载datasophon-manager-1.0.0.tar.gz上传到服务器，并解压到/opt/datasophon目录下（该目录可自行选择），datasophon-manager目录结构如下所示：
5、安装MySQL
MySQL的安装步骤请参考历史文章：Ambari-2.7.5整合HDP-3.1.5集群完整安装记录 的相关章节。
在部署过程中，部分组件会执行SQL生成相应的库表，不同环境的Mysql在配置上存在差异，可根据SQL执行情况，变更Mysql配置。注意需关闭Mysql SSL功能，以下为关闭SSL操作：
打开my.cnf：vi /etc/my.cnf
在[mysqld]下添加：disable_ssl=skip_ssl
重启MySQL：systemctl restart mysqld.service
创建datasophon数据库相关：
mysql -uroot -p******
set global validate_password_policy=0;
set global validate_password_length=1;
CREATE DATABASE IF NOT EXISTS datasophon DEFAULT CHARACTER SET utf8;grant all privileges on .
GRANT ALL PRIVILEGES ON .
FLUSH PRIVILEGES;
5.1 导入datasophon-manager安装根目录下sql文件夹下datasophon-1.0.0.sql文件，创建数据表：
mysql -uroot -p******
use datasophon;
source /opt/datasophon/datasophon-manager-1.0.0/sql/datasophon-1.0.0.sql;
6、安装Nginx
6.1安装依赖
yum -y install gcc
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
6.2下载Nginx
wget https://nginx.org/download/nginx-1.22.0.tar.gz
Nginx编译安装步骤
tar -zxvf nginx-1.22.0.tar.gz
cd nginx-1.22.0
./configure
make
make install
cd /usr/local/nginx/sbin
./nginx
检查是否启动成功：
ps -ef|grep nginx
打开浏览器查看：
在/usr/local/nginx/conf/nginx.conf中添加以下server配置：
server {
listen 8888;# 访问端口(自行修改)
server_name localhost;
#charset koi8-r;
#access_log /var/log/nginx/host.access.log main;
location / {
root /usr/local/nginx/dist; # 前端解压的 dist 目录地址(自行修改)
index index.html index.html;
}
location /ddh {
proxy_pass http://ddp-server.mzy.com:8081; # 接口地址(自行修改)
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header x_real_ipP $remote_addr;
proxy_set_header remote_addr $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_http_version 1.1;
proxy_connect_timeout 4s;
proxy_read_timeout 30s;
proxy_send_timeout 12s;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
}
}
6.3将dist.zip解压到nginx目录下：
6.4重启nginx：
cd /usr/local/nginx/sbin
./nginx -s reload
6.5修改数据库配置
修改conf目录下的application.yml配置文件中数据库链接配置：
spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource
url: jdbc:mysql:ddp-server.mzy.com:3306/datasophon?useUnicode=true&characterEncoding=utf-8
username: root
password: ******
driver-class-name: com.mysql.jdbc.Driver
主要修改url和password的值即可。
7、启动DataSophon服务
cd /opt/datasophon/datasophon-manager-1.0.0
sh bin/datasophon-api.sh start api #启动
sh bin/datasophon-api.sh stop api #停止
sh bin/datasophon-api.sh restart api #重启
执行sh bin/datasophon-api.sh start api启动服务
7.1查看日志输出
7.2访问页面
7.2.1登录 http://192.168.1.60:8888，默认用户名和密码为admin/admin123
7.2.2登录成功页面
7.2.3集群框架页面
7.2.4用户管理页面
7.2.5整体风格设置页面
8、总结
DataSophon是最新开源的国产自研大数据管理平台，从以上的安装体验来讲，DataSophon比Ambari或Cloudera-Manager都更加简单。下一篇文章将基于它安装DDP服务，即hadoop，spark，kafka等大数据组件，进一步体验DataSophon平台提供的其它特性。
