spark 连接mysql安装

原创

mob649e81643021 2024-04-26 05:47:50 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e81643021的原创作品，请联系作者获取转载授权，否则将追究法律责任

连接Spark和MySQL数据库

在数据分析和处理过程中，Spark 是一个非常流行的分布式计算框架，而 MySQL 则是一个常用的关系型数据库。将 Spark 和 MySQL 连接起来可以让我们更方便地处理和分析数据。接下来我们就来看一下如何在 Spark 中连接 MySQL 数据库。

安装 MySQL JDBC 驱动

首先，我们需要下载 MySQL JDBC 驱动，以便在 Spark 中使用。可以在 MySQL 官网下载最新的 MySQL Connector/J 驱动，也可以直接在 Maven 仓库中下载。

开发环境准备

在开始之前，确保你已经安装好了 Spark 和 MySQL，并且已经配置好了环境变量。

连接 MySQL 数据库

在 Spark 中连接 MySQL 数据库，我们可以使用 pyspark 或 spark-shell。

使用 pyspark

首先，启动 pyspark：

pyspark --driver-class-path /path/to/mysql-connector-java.jar --jars /path/to/mysql-connector-java.jar

然后，在 pyspark 中连接 MySQL 数据库：

# 导入必要的包
from pyspark.sql import SparkSession

# 创建 SparkSession
spark = SparkSession.builder \
    .appName("Spark MySQL Example") \
    .config("spark.jars", "/path/to/mysql-connector-java.jar") \
    .getOrCreate()

# 读取 MySQL 数据库中的表
df = spark.read \
    .format("jdbc") \
    .option("url", "jdbc:mysql://localhost:3306/database") \
    .option("dbtable", "table") \
    .option("user", "user") \
    .option("password", "password") \
    .load()

# 展示数据
df.show()

使用 spark-shell

启动 spark-shell：

spark-shell --driver-class-path /path/to/mysql-connector-java.jar --jars /path/to/mysql-connector-java.jar

然后在 spark-shell 中连接 MySQL 数据库：

// 导入必要的包
import org.apache.spark.sql.SparkSession

// 创建 SparkSession
val spark = SparkSession.builder
  .appName("Spark MySQL Example")
  .config("spark.jars", "/path/to/mysql-connector-java.jar")
  .getOrCreate()

// 读取 MySQL 数据库中的表
val df = spark.read
  .format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/database")
  .option("dbtable", "table")
  .option("user", "user")
  .option("password", "password")
  .load()

// 展示数据
df.show()