1、Seata配置与部分分布式事务理论基础(Seata1.4.0)
Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。
Seata将为用户提供了AT、TCC、SAGA、XA事务模式,为用户打造一站式的分布式解决方案。AT模式是阿里首推的模式,阿里云上有商用版本的GTS(全局事务服务)。
1.1 分布式事务理论基础
常见分布式事务解决方案:seata(AT模式)、消息队列(TCC模式)、saga(Saga模式)、XA(XA模式),共同特点:两阶段(2PC)。
事务特性:ACID(原子性、一致性、隔离性、持久性)
1.1.1 两阶段提交协议2PC(Two-Phase Commit)
分两个阶段:Prepare、Commit
存在一个中间协调者/事务管理器,
- 第一阶段,事务协调者发送请求到所有事务参与者,参与者接收到请求,会进行预处理(进行业务上的操作看能否满足当前事务的提交,将提交事务和回滚事务的标记存储),如果预处理成功,参与者向协调者进行应答。
- 第二阶段,如果所有的参与者都回答YES,则通知所有参与者进行提交事务(协调者发请求),所有参与者提交后给与协调者一个应答;反之,如果有一个参与者返回NO,或宕机无响应,则所有参与者进行回滚。
(没办法保证百分百事务成功,如提交过程发生异常)
2PC的问题:
- 同步阻塞,影响性能:参与者在等待协调者的指令时,其实是一直在等待其他参与者的响应,此过程中参与者无法进行其他操作,即影响了其效率。若网络异常导致参与者一直无法接收到协调者信息,那么阻塞会一直进行下去
- 单点故障:一切请求均来自协调者,如果协调者宕机,那么参与者会一直阻塞占用事务资源。如果协调者也是分布式,可解决单点问题,但新协调者不知道上个事务的全部状态,也无法顺利处理上个事务
- 数据不一致:提交或回滚过程中,可能因为协调者或协调者与参与者之间网络问题丢失,会导致部分参与者没有收到请求。
- 环境可靠性依赖协调者Prepare请求发出后等待响应,若有参与者宕机或网络中断,导致协调者无法接受所有参与者的响应,那么在2PC中,协调者会等待一段时间,触发事务中断,在此过程中协调者与参与者都是处于阻塞状态的。
1.1.2 四种模式(AT、TCC、Saga、XA)的分布式事务实现
AT模式(AUTO TRANSCATION)
一种无侵入性的分布式事务解决方案,阿里seata框架实现了该模式。
在AT模式下,用户只需要关心自己的业务SQL,用户的业务SQL作为一阶段,Seata框架会自动生成事务的二阶段提交和回滚操作。
主要在DB层。
AT如何做到对业务的无侵入(执行过程):
- 一阶段:Seata会拦截业务SQL,首先解析SQL语义,找到其要更新的业务数据,在业务数据被更新前,将其保存成“before image”(即将元数据解析出来,放到before image快照中),将执行业务SQL更新业务SQL更新业务数据,将更新后数据保存成“after image”,最后生成行锁。以上操作在一个数据库事务内完成,保证一阶段原子性。
- 二阶段:二阶段如果是提交的话,因为业务SQL以及在一阶段提交至数据库,所以Seata只需要将一阶段保存的快照数据和行锁删除,完成数据清理;如果是回滚,Seata就需要对已执行的业务SQL进行回滚,首先检验脏写(after image与数据库数据进行对比),如果脏写就转人工处理,如果没有即还原数据(将before image逆向生成SQL进行数据还原),最后删除中间数据(before image、after image、行锁)。
TCC模式
其事务控制在自己业务场景中实现,即进行Try、Confirm和Cancel三个操作。
一阶段执行Try方法(检查及预留业务资源完成提交事务前的检查,并预留好资源)。
二阶段提交执行Confirm方法( 确定执行业务操作,对try阶段预留的资源正式执行),回滚执行Cancel方法(取消执行业务操作,对try阶段预留的资源释放)。
开源框架:BeyeTCC、TCC-transaction、Himly
缺点:侵入性强、自己实现相关事务控制逻辑
优点:在整个过程中基本没有锁的概念,性能更强
可靠消息的一致性方案(MQ)
本方案是将分布式事务拆分成多个本地事务来完成,并且由消息队列异步协调完成。
在Try阶段发送预备消息到MQ,进入Confirm阶段,进行更新状态,如果在更新过程中出现问题,则之间删除该预备消息,其他事务的操作就不会再执行(即Cancle阶段回滚),如果执行正常,发送确认消息给MQ,之后再进行消息投递,同事务的其他操作接收到消息之后进行操作;如果发送确认消息没有被接收,MQ会进行回查操作,若没有回应,会删除该消息;如果信息投递的过程中出错,会存在重试操作,如果重试失败,则转人工。 最终会清理所有消息。
- 优点 :由MQ按异步的方式协调完成事务,性能较高;不用实现try/confirm/cancel接口,开发成本比TCC低。
- 缺点:此方式基于关系数据库本地事务来实现,会出现频繁读写数据库记录,浪费数据库资源,另外对于高并发操作不是最佳方案。
1.2 Seata的三大角色
TC (Transaction Coordinator) - 事务协调者
维护全局和分支事务的状态,驱动全局事务提交或回滚。
TM (Transaction Manager) - 事务管理器
定义全局事务的范围:开始全局事务、提交或回滚全局事务。
RM (Resource Manager) - 资源管理器
管理分支事务处理的资源,与TC交谈以注册分支事务和报告分支事务的状态,并驱动分支事务提交或回滚。
1.3 设计思路
略,看官网。
1.4 存在问题
略,看官网。
2、Seata快速开始
2.1 Seata Server(TC)环境快速搭建
Server端存储模式支持三种:
- file(默认):单机模式,全局事务会话信息内存中读写并持久化本地文件root.data,性能较高
- db:高可用模式,全局事务会话信息通过db共享,相应性能差一些
- redis:Seata-Server 1.3及以上版本支持,性能较高,存在事务丢失风险,提前配置适合当前场景的redis持久化配置。
配置:db+nacos的方式部署高可用的集群模式
1、更改file.config文件:mode改成"db",更改数据连接信息
注意,此处的mysql url不能用127.0.0.1,会报mysql时区错误
## transaction log store, only used in seata-server
store {
## store mode: file、db、redis
mode = "db"
## file store property
file {
## store location dir
dir = "sessionStore"
# branch session size , if exceeded first try compress lockkey, still exceeded throws exceptions
maxBranchSessionSize = 16384
# globe session size , if exceeded throws exceptions
maxGlobalSessionSize = 512
# file buffer size , if exceeded allocate new buffer
fileWriteBufferCacheSize = 16384
# when recover batch read size
sessionReloadReadSize = 100
# async, sync
flushDiskMode = async
}
## database store property
db {
## the implement of javax.sql.DataSource, such as DruidDataSource(druid)/BasicDataSource(dbcp)/HikariDataSource(hikari) etc.
datasource = "druid"
## mysql/oracle/postgresql/h2/oceanbase etc.
dbType = "mysql"
driverClassName = "com.mysql.jdbc.Driver"
url = "jdbc:mysql://127.0.0.1:3306/seata"
user = "root"
password = "123456"
minConn = 5
maxConn = 100
globalTable = "global_table"
branchTable = "branch_table"
lockTable = "lock_table"
queryLimit = 100
maxWait = 5000
}
## redis store property
redis {
host = "127.0.0.1"
port = "6379"
password = ""
database = "0"
minConn = 1
maxConn = 10
maxTotal = 100
queryLimit = 100
}
}
2、创建数据库:
-- -------------------------------- The script used when storeMode is 'db' --------------------------------
-- the table to store GlobalSession data
CREATE TABLE IF NOT EXISTS `global_table`
(
`xid` VARCHAR(128) NOT NULL,
`transaction_id` BIGINT,
`status` TINYINT NOT NULL,
`application_id` VARCHAR(32),
`transaction_service_group` VARCHAR(32),
`transaction_name` VARCHAR(128),
`timeout` INT,
`begin_time` BIGINT,
`application_data` VARCHAR(2000),
`gmt_create` DATETIME,
`gmt_modified` DATETIME,
PRIMARY KEY (`xid`),
KEY `idx_gmt_modified_status` (`gmt_modified`, `status`),
KEY `idx_transaction_id` (`transaction_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8;
-- the table to store BranchSession data
CREATE TABLE IF NOT EXISTS `branch_table`
(
`branch_id` BIGINT NOT NULL,
`xid` VARCHAR(128) NOT NULL,
`transaction_id` BIGINT,
`resource_group_id` VARCHAR(32),
`resource_id` VARCHAR(256),
`branch_type` VARCHAR(8),
`status` TINYINT,
`client_id` VARCHAR(64),
`application_data` VARCHAR(2000),
`gmt_create` DATETIME(6),
`gmt_modified` DATETIME(6),
PRIMARY KEY (`branch_id`),
KEY `idx_xid` (`xid`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8;
-- the table to store lock data
CREATE TABLE IF NOT EXISTS `lock_table`
(
`row_key` VARCHAR(128) NOT NULL,
`xid` VARCHAR(96),
`transaction_id` BIGINT,
`branch_id` BIGINT NOT NULL,
`resource_id` VARCHAR(256),
`table_name` VARCHAR(32),
`pk` VARCHAR(36),
`gmt_create` DATETIME,
`gmt_modified` DATETIME,
PRIMARY KEY (`row_key`),
KEY `idx_branch_id` (`branch_id`)
) ENGINE = InnoDB
DEFAULT CHARSET = utf8;
3、更改registry.conf
registry {
# file 、nacos 、eureka、redis、zk、consul、etcd3、sofa
type = "nacos"
loadBalance = "RandomLoadBalance"
loadBalanceVirtualNodes = 10
nacos {
application = "seata-server"
serverAddr = "127.0.0.1:8848"
group = "SEATA_GROUP"
namespace = ""
cluster = "default"
username = "nacos"
password = "nacos"
}
}
config {
# file、nacos 、apollo、zk、consul、etcd3
type = "nacos"
nacos {
serverAddr = "127.0.0.1:8848"
namespace = ""
group = "SEATA_GROUP"
username = "nacos"
password = "nacos"
}
}
4、修改config.txt
transport.type=TCP
transport.server=NIO
transport.heartbeat=true
transport.enableClientBatchSendRequest=false
transport.threadFactory.bossThreadPrefix=NettyBoss
transport.threadFactory.workerThreadPrefix=NettyServerNIOWorker
transport.threadFactory.serverExecutorThreadPrefix=NettyServerBizHandler
transport.threadFactory.shareBossWorker=false
transport.threadFactory.clientSelectorThreadPrefix=NettyClientSelector
transport.threadFactory.clientSelectorThreadSize=1
transport.threadFactory.clientWorkerThreadPrefix=NettyClientWorkerThread
transport.threadFactory.bossThreadSize=1
transport.threadFactory.workerThreadSize=default
transport.shutdown.wait=3
service.vgroupMapping.my_test_tx_group=default
service.default.grouplist=127.0.0.1:8091
service.enableDegrade=false
service.disableGlobalTransaction=false
client.rm.asyncCommitBufferLimit=10000
client.rm.lock.retryInterval=10
client.rm.lock.retryTimes=30
client.rm.lock.retryPolicyBranchRollbackOnConflict=true
client.rm.reportRetryCount=5
client.rm.tableMetaCheckEnable=false
client.rm.sqlParserType=druid
client.rm.reportSuccessEnable=false
client.rm.sagaBranchRegisterEnable=false
client.tm.commitRetryCount=5
client.tm.rollbackRetryCount=5
client.tm.defaultGlobalTransactionTimeout=60000
client.tm.degradeCheck=false
client.tm.degradeCheckAllowTimes=10
client.tm.degradeCheckPeriod=2000
store.mode=db
store.db.datasource=druid
store.db.dbType=mysql
store.db.driverClassName=com.mysql.jdbc.Driver
store.db.url=jdbc:mysql://127.0.0.1:3306/seata?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
store.db.user=root
store.db.password=123456
store.db.minConn=5
store.db.maxConn=30
store.db.globalTable=global_table
store.db.branchTable=branch_table
store.db.queryLimit=100
store.db.lockTable=lock_table
store.db.maxWait=5000
store.redis.host=127.0.0.1
store.redis.port=6379
store.redis.maxConn=10
store.redis.minConn=1
store.redis.database=0
store.redis.password=null
store.redis.queryLimit=100
server.recovery.committingRetryPeriod=1000
server.recovery.asynCommittingRetryPeriod=1000
server.recovery.rollbackingRetryPeriod=1000
server.recovery.timeoutRetryPeriod=1000
server.maxCommitRetryTimeout=-1
server.maxRollbackRetryTimeout=-1
server.rollbackRetryTimeoutUnlockEnable=false
client.undo.dataValidation=true
client.undo.logSerialization=jackson
client.undo.onlyCareUpdateColumns=true
server.undo.logSaveDays=7
server.undo.logDeletePeriod=86400000
client.undo.logTable=undo_log
log.exceptionRate=100
transport.serialization=seata
transport.compressor=none
metrics.enabled=false
metrics.registryType=compact
metrics.exporterList=prometheus
metrics.exporterPrometheusPort=9898
事务分组:异地机房停电容错机制
service.vgroupMapping.my_test_tx_group=default
# my_test_tx_group可以自定义,对应的client也要进行配置,seata.server.vgroup-mapping.projectA=beijing
# default必须等于registry.conf中的cluster属性
service.vgroupMapping.beijing=default
5、将config.txt注册进nacos
windows下运行该python脚本:nacos-config.py
#!/usr/bin/env python3
# -*- coding: UTF-8 -*-
import http.client
import sys
if len(sys.argv) <= 2:
print ('python nacos-config.py nacosAddr')
exit()
headers = {
'content-type': "application/x-www-form-urlencoded"
}
hasError = False
for line in open('../config.txt'):
pair = line.split('=')
if len(pair) < 2:
continue
print (line),
url_prefix = sys.argv[1]
conn = http.client.HTTPConnection(url_prefix)
if len(sys.argv) == 3:
namespace=sys.argv[2]
url_postfix = '/nacos/v1/cs/configs?dataId={0}&group=SEATA_GROUP&content={1}&tenant={2}'.format(str(pair[0]),str(line[line.index('=')+1:]).strip(),namespace)
else:
url_postfix = '/nacos/v1/cs/configs?dataId={}&group=SEATA_GROUP&content={}'.format(str(pair[0]),str(line[line.index('=')+1:])).strip()
conn.request("POST", url_postfix, headers=headers)
res = conn.getresponse()
data = res.read()
if data.decode("utf-8") != "true":
hasError = True
if hasError:
print ("init nacos config fail.")
else:
print ("init nacos config finished, please start seata-server.")
linux脚本 nacos-config.sh
#!/usr/bin/env bash
# Copyright 1999-2019 Seata.io Group.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at、
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
while getopts ":h:p:g:t:u:w:" opt
do
case $opt in
h)
host=$OPTARG
;;
p)
port=$OPTARG
;;
g)
group=$OPTARG
;;
t)
tenant=$OPTARG
;;
u)
username=$OPTARG
;;
w)
password=$OPTARG
;;
?)
echo " USAGE OPTION: $0 [-h host] [-p port] [-g group] [-t tenant] [-u username] [-w password] "
exit 1
;;
esac
done
if [[ -z ${host} ]]; then
host=localhost
fi
if [[ -z ${port} ]]; then
port=8848
fi
if [[ -z ${group} ]]; then
group="SEATA_GROUP"
fi
if [[ -z ${tenant} ]]; then
tenant=""
fi
if [[ -z ${username} ]]; then
username=""
fi
if [[ -z ${password} ]]; then
password=""
fi
nacosAddr=$host:$port
contentType="content-type:application/json;charset=UTF-8"
echo "set nacosAddr=$nacosAddr"
echo "set group=$group"
failCount=0
tempLog=$(mktemp -u)
function addConfig() {
curl -X POST -H "${contentType}" "http://$nacosAddr/nacos/v1/cs/configs?dataId=$1&group=$group&content=$2&tenant=$tenant&username=$username&password=$password" >"${tempLog}" 2>/dev/null
if [[ -z $(cat "${tempLog}") ]]; then
echo " Please check the cluster status. "
exit 1
fi
if [[ $(cat "${tempLog}") =~ "true" ]]; then
echo "Set $1=$2 successfully "
else
echo "Set $1=$2 failure "
(( failCount++ ))
fi
}
count=0
for line in $(cat $(dirname "$PWD")/config.txt | sed s/[[:space:]]//g); do
(( count++ ))
key=${line%%=*}
value=${line#*=}
addConfig "${key}" "${value}"
done
echo "========================================================================="
echo " Complete initialization parameters, total-count:$count , failure-count:$failCount "
echo "========================================================================="
if [[ ${failCount} -eq 0 ]]; then
echo " Init nacos config finished, please start seata-server. "
else
echo " init nacos config fail. "
fi
6、启动
运行/bin/seata-server.bat