mssql sqlalchemy 连接串

转载

jimoshalengzhou 2024-09-12 19:05:50

文章标签 数据库 mysql 连接池 SQL sqlalchemy 文章分类 机器学习人工智能

1 mycat实现分表操作2 isinstance的使用
3 sqlalchemy的使用
4 mysql数据库连接池

1 mycat实现分表操作

在 MySQL 数据库中，Mycat 通常用于实现分片（Sharding）操作。分片是一种将大型数据库水平拆分成多个较小数据库的策略，以提高性能和可伸缩性。以下是在 MySQL 中使用 Mycat 实现分表操作的基本步骤：

安装和配置 Mycat：

下载并安装 Mycat。可以从 Mycat 官方网站获取最新版本：Mycat 官网
配置 Mycat 的 server.xml 文件，指定 MySQL 数据库的连接信息、分片规则等。

创建逻辑表：

在 MySQL 中创建逻辑表，即对应于业务数据的表。这个逻辑表会根据分片规则被拆分成多个物理表。

定义分片规则：

确定如何根据某个字段的取值将数据分布到不同的物理表中。这个字段通常被称为分片字段。分片规则的定义可以是哈希、范围、模数等。

配置 Mycat 的 schema.xml：

在 Mycat 的 schema.xml 文件中配置逻辑表的定义和分片规则。以下是一个示例：

<schema name="testdb" check="true" sqlMaxLimit="100">
    <table name="user" dataNode="dn1,dn2" rule="mod-long"/>
</schema>

在这个示例中，user 表使用 mod-long 规则，并指定数据节点（dataNode）为 dn1 和 dn2。

启动 Mycat：

启动 Mycat 服务器，确保连接到 MySQL 数据库。

进行分片查询：

使用 MySQL 客户端或应用程序连接到 Mycat，并执行 SQL 查询。Mycat 会根据分片规则将查询请求路由到对应的物理表上。

需要注意的是，具体的配置和规则会根据实际情况而定。上述步骤仅为演示 Mycat 分表的基本思路。在实际应用中，还需要考虑事务一致性、数据同步等方面的问题。分片是一个复杂的主题，确保在设计和实施分片策略时考虑所有相关因素。

2 isinstance的使用

isinstance() 是 Python 内置函数之一，用于检查一个对象是否是指定类型（或元组中指定类型之一）的实例。它的语法如下：

isinstance(object, classinfo)

object: 要检查的对象。
classinfo: 类型（或类型元组）。

isinstance() 返回一个布尔值，如果对象是指定类型的实例（或元组中任一类型的实例），则返回 True；否则返回 False。

以下是 isinstance() 的一些用例示例：

# 检查一个整数是否是 int 类型的实例
x = 5
print(isinstance(x, int))  # True

# 检查一个列表是否是 list 或 tuple 类型的实例
my_list = [1, 2, 3]
print(isinstance(my_list, (list, tuple)))  # True

# 检查一个字符串是否是 str 类型的实例
text = "Hello, World!"
print(isinstance(text, str))  # True

# 检查一个对象是否是数字类型（int 或 float）的实例
number = 3.14
print(isinstance(number, (int, float)))  # True

# 检查一个对象是否不是某一类型的实例
data = {'name': 'John', 'age': 25}
print(not isinstance(data, list))  # True

isinstance() 在编写具有灵活性的代码时很有用，特别是当你需要处理多个可能的类型时。你可以使用元组传递多个类型，或者在需要检查的地方使用多个 isinstance() 调用。

3 sqlalchemy的使用

SQLAlchemy 是一个 Python 的 SQL 工具和对象关系映射 (ORM) 库。它提供了一组高水平的 API，允许你通过 Python 对数据库进行操作，同时也支持 SQL 表达式语言用于创建和执行 SQL 语句。SQLAlchemy 被广泛用于处理数据库操作，尤其在 web 开发中。

以下是 SQLAlchemy 的主要特点和用法：

ORM 支持： SQLAlchemy 提供了 ORM 功能，允许你通过 Python 类和对象操作数据库，而不是直接使用 SQL 语句。这样做的好处是可以更自然地使用 Python 语言的面向对象特性。

from sqlalchemy import create_engine, Column, Integer, String
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

Base = declarative_base()

class User(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String)
    age = Column(Integer)

engine = create_engine('sqlite:///:memory:', echo=True)
Base.metadata.create_all(engine)

# 创建一个 Session 类用于与数据库交互
Session = sessionmaker(bind=engine)
session = Session()

# 插入数据
new_user = User(name='John Doe', age=25)
session.add(new_user)
session.commit()

# 查询数据
users = session.query(User).all()
print(users)

SQL 表达式语言： SQLAlchemy 提供了 SQL 表达式语言，用于在 Python 中构建和执行 SQL 语句，同时还支持数据库无关的 SQL。

from sqlalchemy import create_engine, text

engine = create_engine('sqlite:///:memory:', echo=True)

# 使用 text() 构建 SQL 语句
stmt = text("SELECT * FROM users WHERE name=:name")
result = engine.execute(stmt, {"name": "John Doe"})

for row in result:
    print(row)

连接池： SQLAlchemy 支持连接池技术，通过连接池管理数据库连接，提高性能并减轻数据库的负担。

from sqlalchemy import create_engine

# 创建连接池
engine = create_engine('sqlite:///:memory:', pool_size=5, max_overflow=10)

事务管理： SQLAlchemy 提供了对事务的支持，你可以使用 commit() 提交事务或 rollback() 回滚事务。

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker

engine = create_engine('sqlite:///:memory:')
Session = sessionmaker(bind=engine)
session = Session()

try:
    # 事务开始
    # 执行数据库操作
    session.commit()  # 提交事务
except Exception as e:
    print(e)
    session.rollback()  # 回滚事务
finally:
    session.close()

自动映射： SQLAlchemy 提供了自动映射功能，可以通过现有数据库表自动生成对应的 Python 类。

from sqlalchemy import create_engine, MetaData, Table

engine = create_engine('sqlite:///:memory:')
metadata = MetaData()
users = Table('users', metadata, autoload_with=engine)

print(users.columns.keys())  # 输出表的列名

这些只是 SQLAlchemy 提供的一些主要功能，它还有很多其他强大的特性，适用于多种数据库后端。你可以根据项目需求选择使用 SQLAlchemy 的部分功能或全部功能。

4 mysql数据库连接池

数据库连接池是一种管理数据库连接的技术，通过维护一定数量的数据库连接并对其进行重复利用，可以提高数据库操作的效率。连接池的主要目标是避免每次执行数据库操作时都重新创建和断开数据库连接，从而减少系统开销。

在 Python 中，你可以使用第三方库来实现 MySQL 数据库连接池。下面以 pymysql 为例，简要介绍如何在 Python 中使用 MySQL 连接池：

安装 pymysql 库：

pip install pymysql

使用连接池：

import pymysql
from pymysql import connections
from dbutils.pooled_db import PooledDB

# 数据库连接配置
db_config = {
    'host': 'your_host',
    'port': 3306,
    'user': 'your_user',
    'password': 'your_password',
    'database': 'your_database',
    'charset': 'utf8mb4',
}

# 使用连接池创建数据库连接
pool = PooledDB(
    creator=pymysql,  # 使用的数据库连接模块
    maxconnections=10,  # 连接池允许的最大连接数
    mincached=2,  # 初始化时，连接池中至少创建的空闲连接，0表示不创建
    maxcached=5,  # 连接池中空闲连接的最大数目，0和None表示没有限制
    maxusage=0,  # 一个连接最多被重复使用的次数，0或None表示没有限制
    **db_config  # 数据库连接配置
)

# 获取连接
conn = pool.connection()

# 使用连接进行数据库操作
try:
    with conn.cursor() as cursor:
        # 执行 SQL
        sql = "SELECT * FROM your_table"
        cursor.execute(sql)

        # 获取结果
        result = cursor.fetchall()
        print(result)
finally:
    # 使用完毕后归还连接到连接池
    conn.close()

通过这种方式，你可以在需要连接数据库时从连接池中获取连接，执行完数据库操作后将连接归还到连接池，从而实现连接的复用。

请注意，上述代码中使用的 dbutils.pooled_db 模块需要另外安装：