乐胖代购免代理版

欢迎

spark DataFrame操作

先创建测试数据：在hdfs中创建spark文件夹，再将本地文件上传过去[root@hadoop01 data]# hdfs dfs -mkdir /spark[root@hadoop01 data]# hdfs dfs -put /export/data/person.txt /spa

spark

hive

big data

scala

sql

原创 2022-05-09 20:36:48 740 阅读

spark部署测试

spark的基本部署，包括了1、下载并解压spark包，注意要和hadoop版本适配。2、修改配置文件。3、测试服务。4、配置高可用spark。5、测试高可用spark。6、测试hadoop01的单点故障等的操作

spark

hadoop

big data

高可用

原创 2022-05-09 20:36:25 189 阅读

spark部署

文章目录主节点安装软件（1）下载Scala和Spark软件包并解压设置Spark参数（1）修改spark-env.sh文件（2）修改slaves文件（3）修改环境变量并生效Slave节点安装软件（1）登录从节点1节点安装软件（2）登录从节点2节点安装软件（3）修改从节点1节点和从节点2节点环境变量并生效测试Spark（1）登录各集群节点启动Zookeeper服务并查看服务状态（

hadoop

大数据

spark

linux

zookeeper

原创 2022-05-09 20:36:14 219 阅读

spark数据分析

spark案例1、sparkpihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ vim SparkPihadoop@ddai-master:/opt/spark-2.1.0-bin-hadoop2.7$ run-example SparkPi 10 >

spark

大数据

hadoop

java

mapreduce

原创 2022-05-09 20:35:22 521 阅读

spark编程应用

文章目录搭建Scala-IDE环境单词计数编程使用Scala语言实现Java语言实现搭建python环境实现k-means聚类算法搭建Scala-IDE环境1、下载安装开发包由于当前有个eclipse-ide

大数据

python

聚类

hadoop

spark

原创 2022-05-09 20:34:48 197 阅读

配置FTP服务器并测试

FTP:先配置好网络、yum源以及关闭防火墙一、服务端1、安装vsftpd软件包[root@node1 ~]# yum -y install vsftpd2、建立用户组和相应的文件夹并更改权限，同时在文件夹下创建测试文件

ftp

linux

centos

客户端

服务端

原创 2022-05-09 20:32:56 1631 阅读

配置基于虚拟用户的FTP服务器并测试

配置前需要配好网络、yum源及关闭防火墙一、服务端1、安装vsftpd软件包[root@node1 ~]# yum -y install vsftpd2、创建/ftp目录，并在这创建用户文本文件ftpuser.txt

linux

ftp

centos

运维

vim

原创 2022-05-09 20:32:28 103 阅读

DHCP服务器的配置和应用

DHCP主要作用是为网络客户机自动动态分配IP地址服务端node1、客户端node2vi /etc/hostname删除默认，修改成设置的名字1、安装DHCP服务[root@node1 ~]# yu

网络

linux

centos

dhcp

服务端

原创 2022-05-09 20:32:08 188 阅读

DNS服务器配置与管理（案例展示）

DNS用TCP/IP协议架设的网络中，每一个节点都有唯一的IP地址，用来作为唯一的标志。然而记住这些毫无记忆规律的IP地址是不可能的。为了方便记忆，产生了域名系统DNS，运行在TCP协议之上。负责将域名转换成实际相对应的IP地址。这个过程称为域名解析，负责域名解析的服务器称为DNS服务器。

linux

centos

dns服务器

运维

配置文件

原创 2022-05-09 20:31:58 974 阅读

NFS服务器配置及案例展示

NFS网络文件系统，它允许网络中的不同计算机相互之间共享资源。NFS客户端可以透明地读写远程远程NFS服务器上的文件，就像访问本地文件一样。配置NFS服务器之前需要先配置好网络、配置好yum源、关闭防火墙注：需要用到两台虚拟机，有人可能直接把第一台复制，另一台在配置网络时，可能出现ping不通外网的情况，需要移除该机网络适配器重新添加配置。服务端node1

centos

linux

运维

云计算

服务器

原创 2022-05-09 20:31:38 966 阅读 1收藏

samba服务器配置与应用(1)

配置samba服务器前需要做三个预备a.配置好网络b.配置好yum源c.关闭防火墙1.安装samba服务器查看是否安装有sambarpm -qa|grep samba若没有直接下载yum clean allyum -y install

centos

linux

运维

samba

ubuntu

原创 2022-05-09 20:31:22 233 阅读

samba服务器配置与应用(2)

配置samba服务器前需要做三个预备a.配置好网络b.配置好yum源c.关闭防火墙

linux

java

centos

samba

windows

原创 2022-05-09 20:31:06 530 阅读 1收藏

Web服务器配置与管理（包含四种案例）

配好网络、yum源以及关闭防火墙一、配置Web站点1、创建用户并建立网页文件[root@node1 ~]# useradd jack[root@node1 ~]# mkdir /home/jack/public_html[root@node1 ~]# chmod 711

linux

centos

web

http

https

原创 2022-05-09 20:30:34 1351 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

Above the cloud

欢迎

spark DataFrame操作

spark部署测试

spark部署

spark数据分析

spark编程应用

配置FTP服务器并测试

配置基于虚拟用户的FTP服务器并测试

DHCP服务器的配置和应用

DNS服务器配置与管理（案例展示）

NFS服务器配置及案例展示

samba服务器配置与应用(1)

samba服务器配置与应用(2)

Web服务器配置与管理（包含四种案例）