1、spark概述1、什么是spark基于内存的计算引擎，它的计算速度非常快。但是spark仅仅只涉及到数据的计算，没有涉及到数据的存储。2、为什么学习spark比mapreduce计算速度快很多。3、spark特点1、速度快比mapreduce在内存中快100x，在磁盘中快10x1、由于mapreduce每次job的中间结果数据都会落地到磁盘中，而spark每次中间结果数据可以不落地（可以保存在
# Linux单机安装HBase
## 简介
HBase是一个建立在Hadoop上的分布式、可扩展、面向列的NoSQL数据库。它提供了高可靠性、高性能、实时读写的能力，特别适用于海量数据的存储和处理。
本文将介绍如何在Linux系统上进行单机安装HBase，并提供代码示例以及相关配置说明。
## 安装步骤
### 1. 下载HBase
首先，我们需要从HBase官方网站上下载最新的二进制包
原创
2023-12-07 14:56:40
29阅读
1、简述本文在mac上，使用docker搭建spark 2.2 + hadoop 2.8.1集群，实现spark on yarn的任务提交。2、docker安装下载docker for mac 17.06.0-ce-mac19，可通过以下任意一个途径下载：官网下载：https://www.docker.com/docker-mac
百度网盘下载 链接: http://pan.baidu.com/s
0.环境说明 硬件环境：VMWare虚拟机，内存2GB 操作系统：Ubuntu12.04 32位操作系统 （64位操作系统的话更好，但是虚拟机还是32位吧） 准备安装软件：JDK1.7 , Hadoop2.6.0, Scala2.10.4, Spark1.2.01.安装JDK (1) 下载JDK1.7(建议1.7) ，名为jdk-7u79-linux-i586.tar.gz，下载地址htt
转载
2023-11-15 13:47:42
80阅读
系列文章目录spark第一章：环境安装 文章目录系列文章目录前言一、文件准备1.文件上传2.文件解压3.修改配置4.启动环境二、历史服务器1.修改配置2.启动历史服务器总结 前言spark在大数据环境的重要程度就不必细说了，直接开始吧。 这里说明一下，在之前安装好hive的快照上进行安装。一、文件准备1.文件上传spark3.2.3官网下载地址。 本次学习spark使用稳定版3.2.3. spar
转载
2023-11-10 18:52:29
120阅读
# 如何实现单机版安装Apache Spark
Apache Spark是一种强大的分布式计算框架，但在学习和开发初期，很多开发者可能只需要在单机环境下使用Spark。本文将为你介绍如何在本地机器上安装单机版Spark，以及每一步所需的具体操作。
## 安装Spark流程概述
| 步骤 | 描述 |
|------|-----------------
环境hadoo
原创
2022-09-13 13:20:31
328阅读
# Spark 安装单机版指南
Apache Spark 是一个流行的大数据处理框架，支持快速的批处理和流处理。安装 Spark 的单机版非常适合学习和开发。这篇文章将详细介绍如何在本地计算机上安装 Spark 的单机版，并提供相应的代码示例与图表展示。
## 1. 系统要求
在开始安装之前，请确保您的计算机满足以下基本要求：
- **Java JDK**：Spark 是用 Scala 编
注意此文描述的方法是不需要依赖Hadoop的安装的，故不用单独安装hadoop此篇文章，会介绍单机模式和集群模式的环境搭建，读者可根据需要读取。以下命令都是在root用户下执行，如果是用普通用户登录，请切换到root用户，否则权限不够软件包jdk-8u151-linux-x64.tar.gz -- 自行搜索配置
scala-2.11.8.tgz
spark-2.2.0-bin-ha
转载
2023-10-07 16:50:24
337阅读
HyperLedger/Fabric SDK Docker Image该项目在github上的地址是：https://github.com/aberic/fabric-sdk-container （感谢Star）。 这是一个基于fabric-sdk-java的项目，该项目的主要目的是简化HyperLedger/Fabric开发人员在SDK应用层上的工作流程，使得开发和部署更加简
转载
2024-01-02 11:07:54
53阅读
docker-compose 部署 kafka镜像地址kafka官网kafka镜像zookeeper镜像
Kafka 4.0 将移除zookeeper,仅支持KRaft 所以我们使用KRaft模式,这也是kafka:3.4的默认模式.由于这是一个非 root 的容器，挂载的文件和目录必须具有 UID 1001 的适当权限sudo chown -R 1001:1001 ./kafka_data
创建
转载
2024-01-04 23:45:51
81阅读
安装 Spark 之前需要先安装 Java，Scala 及 Python。一、安装javajava安装过程不在多说，可以在我其他文章中查找，下面附上java SE JDK下载链接http://www.oracle.com/technetwork/java/javase/downloads/index.html查看java版本1.2 安装 Scala[hadoop@cnbugs ~]$ wget h
# 如何在Linux上安装单机版Spark
在大数据领域，Apache Spark是一个极其强大的工具，能帮助我们高效地处理数据。若你刚入行，下面的指南将带你完成在Linux上安装单机版Spark的全过程。我们会通过分步的方式，让你逐步掌握这一过程。
## 安装步骤流程
下面是安装单机版Spark的流程表格：
| 步骤 | 描述 |
|--
版本信息scala-2.11.7.tgzjdk-8u65-linux-x64.gzspark-1.4.1-bin-hadoop2.6.tgzIP: 192.168.31.157查看IP的语法为：[root@localhost java]# ifconfig -a步骤0：创建目录[root@localhost ~]# mkdir /usr/java
[root@localhost ~]# mkdir
转载
2023-11-29 11:15:57
180阅读
linux下载swampy-2.1.7.tar.gz的安装包，tar -xzv -f *** -C *** 解压文件到指定文件夹，这里发生了一个插曲，下载的文件不全生成的是.tar.gz.part文件，却没注意。.part文件是指压缩文件的一部分，也就是不全啦。接下来怎么使用swampy，按照thinkpython官方的说法是一。 install as package
二 。work in the
转载
2023-12-08 22:41:57
68阅读
Java把JAVA环境变量设置到“WINDOWS系统变量"中是最简单的方式，也是对多用户环境下有利的方式。 随着JAVA版本的升级、WINDOWS操作系统的升级、ECLIPSE愈加智能化。一些设置不是必须的，比如JAVA_HOME的设置。 下面是有兼容性的JAVA环境变量设置方式。1.软件环境如下所示：操作系统 WINDOWS 10 JAVA JDK 1.82.WINDOW环境变量对话框位置：打开
# MySQL单价SQL解析
## 引言
在众多数据库管理系统中，MySQL凭借其开放源代码和高性能的特点，广泛应用于各种应用场景中。尤其是在电子商务、库存管理等场合，我们常常需要通过SQL语言进行数据的查询与分析。本文将以单价的计算为切入点，对MySQL的基本用法进行探讨，并通过实例帮助读者理解。
## MySQL基础知识
MySQL是一种关系型数据库管理系统，数据以表的形式存储。我们可
# 使用Python计算商品单价
在日常生活中，我们经常需要计算商品的单价，特别是在购物时。单价是指每个商品的价格，可以用总价除以数量来得到。在这篇文章中，我们将探讨如何使用Python进行单价计算，包括相关的代码示例，以及一些实用的建议。
## 理解单价计算
单价的计算公式非常简单：
$$
单价 = \frac{总价}{数量}
$$
例如，如果你购买了3个苹果，总价为15元，那么每个苹
# Spark单机版的安装与部署
Apache Spark是一个快速且通用的大数据处理框架。它不仅可以在集群中运行，还能在单机环境中进行开发和测试。在本文中，我们将详细介绍Spark单机版的安装与部署，并提供必要的代码示例，最后帮助您理解如何使用Spark进行基本计算。
## 1. 环境准备
在开始之前，我们需要确保你的计算机上已安装Java 8或更高版本。您可以通过以下命令检查Java版本
Spark官方网站http://spark.apache.orgSpark通用性解释Spark的特点官方网站都有。目前支持Java,Scala, Python，R。推荐使用Java和Scala，spark2中对python的支持不够好。Spark的数据源HDFS，HBase，Cassandra（类似于hbase数据库，国外用的多）Hive，TachyonSpark的四种部署模式hadoop 模式（
