1、Seata配置与部分分布式事务理论基础(Seata1.4.0)

Seata 是一款开源的分布式事务解决方案,致力于在微服务架构下提供高性能和简单易用的分布式事务服务。
Seata将为用户提供了AT、TCC、SAGA、XA事务模式,为用户打造一站式的分布式解决方案。AT模式是阿里首推的模式,阿里云上有商用版本的GTS(全局事务服务)。

1.1 分布式事务理论基础

常见分布式事务解决方案:seata(AT模式)、消息队列(TCC模式)、saga(Saga模式)、XA(XA模式),共同特点:两阶段(2PC)。

事务特性:ACID(原子性、一致性、隔离性、持久性)

1.1.1 两阶段提交协议2PC(Two-Phase Commit)

分两个阶段:Prepare、Commit

存在一个中间协调者/事务管理器,

  • 第一阶段,事务协调者发送请求到所有事务参与者,参与者接收到请求,会进行预处理(进行业务上的操作看能否满足当前事务的提交,将提交事务和回滚事务的标记存储),如果预处理成功,参与者向协调者进行应答。
  • 第二阶段,如果所有的参与者都回答YES,则通知所有参与者进行提交事务(协调者发请求),所有参与者提交后给与协调者一个应答;反之,如果有一个参与者返回NO,或宕机无响应,则所有参与者进行回滚。
    (没办法保证百分百事务成功,如提交过程发生异常)

2PC的问题:

  • 同步阻塞,影响性能:参与者在等待协调者的指令时,其实是一直在等待其他参与者的响应,此过程中参与者无法进行其他操作,即影响了其效率。若网络异常导致参与者一直无法接收到协调者信息,那么阻塞会一直进行下去
  • 单点故障:一切请求均来自协调者,如果协调者宕机,那么参与者会一直阻塞占用事务资源。如果协调者也是分布式,可解决单点问题,但新协调者不知道上个事务的全部状态,也无法顺利处理上个事务
  • 数据不一致:提交或回滚过程中,可能因为协调者或协调者与参与者之间网络问题丢失,会导致部分参与者没有收到请求。
  • 环境可靠性依赖协调者Prepare请求发出后等待响应,若有参与者宕机或网络中断,导致协调者无法接受所有参与者的响应,那么在2PC中,协调者会等待一段时间,触发事务中断,在此过程中协调者与参与者都是处于阻塞状态的。
1.1.2 四种模式(AT、TCC、Saga、XA)的分布式事务实现
AT模式(AUTO TRANSCATION)

一种无侵入性的分布式事务解决方案,阿里seata框架实现了该模式。
在AT模式下,用户只需要关心自己的业务SQL,用户的业务SQL作为一阶段,Seata框架会自动生成事务的二阶段提交和回滚操作。

主要在DB层。

AT如何做到对业务的无侵入(执行过程):

  • 一阶段:Seata会拦截业务SQL,首先解析SQL语义,找到其要更新的业务数据,在业务数据被更新前,将其保存成“before image”(即将元数据解析出来,放到before image快照中),将执行业务SQL更新业务SQL更新业务数据,将更新后数据保存成“after image”,最后生成行锁。以上操作在一个数据库事务内完成,保证一阶段原子性。
  • 二阶段:二阶段如果是提交的话,因为业务SQL以及在一阶段提交至数据库,所以Seata只需要将一阶段保存的快照数据和行锁删除,完成数据清理;如果是回滚,Seata就需要对已执行的业务SQL进行回滚,首先检验脏写(after image与数据库数据进行对比),如果脏写就转人工处理,如果没有即还原数据(将before image逆向生成SQL进行数据还原),最后删除中间数据(before image、after image、行锁)。
TCC模式

其事务控制在自己业务场景中实现,即进行Try、Confirm和Cancel三个操作。
一阶段执行Try方法(检查及预留业务资源完成提交事务前的检查,并预留好资源)。
二阶段提交执行Confirm方法( 确定执行业务操作,对try阶段预留的资源正式执行),回滚执行Cancel方法(取消执行业务操作,对try阶段预留的资源释放)。

开源框架:BeyeTCC、TCC-transaction、Himly

缺点:侵入性强、自己实现相关事务控制逻辑
优点:在整个过程中基本没有锁的概念,性能更强

可靠消息的一致性方案(MQ)

本方案是将分布式事务拆分成多个本地事务来完成,并且由消息队列异步协调完成。

在Try阶段发送预备消息到MQ,进入Confirm阶段,进行更新状态,如果在更新过程中出现问题,则之间删除该预备消息,其他事务的操作就不会再执行(即Cancle阶段回滚),如果执行正常,发送确认消息给MQ,之后再进行消息投递,同事务的其他操作接收到消息之后进行操作;如果发送确认消息没有被接收,MQ会进行回查操作,若没有回应,会删除该消息;如果信息投递的过程中出错,会存在重试操作,如果重试失败,则转人工。 最终会清理所有消息。

  • 优点 :由MQ按异步的方式协调完成事务,性能较高;不用实现try/confirm/cancel接口,开发成本比TCC低。
  • 缺点:此方式基于关系数据库本地事务来实现,会出现频繁读写数据库记录,浪费数据库资源,另外对于高并发操作不是最佳方案。

1.2 Seata的三大角色

TC (Transaction Coordinator) - 事务协调者
维护全局和分支事务的状态,驱动全局事务提交或回滚。

TM (Transaction Manager) - 事务管理器
定义全局事务的范围:开始全局事务、提交或回滚全局事务。

RM (Resource Manager) - 资源管理器
管理分支事务处理的资源,与TC交谈以注册分支事务和报告分支事务的状态,并驱动分支事务提交或回滚。

1.3 设计思路

略,看官网。

1.4 存在问题

略,看官网。

2、Seata快速开始

2.1 Seata Server(TC)环境快速搭建

Server端存储模式支持三种:

  • file(默认):单机模式,全局事务会话信息内存中读写并持久化本地文件root.data,性能较高
  • db:高可用模式,全局事务会话信息通过db共享,相应性能差一些
  • redis:Seata-Server 1.3及以上版本支持,性能较高,存在事务丢失风险,提前配置适合当前场景的redis持久化配置。

配置:db+nacos的方式部署高可用的集群模式
1、更改file.config文件:mode改成"db",更改数据连接信息
注意,此处的mysql url不能用127.0.0.1,会报mysql时区错误

## transaction log store, only used in seata-server
store {
  ## store mode: file、db、redis
  mode = "db"

  ## file store property
  file {
    ## store location dir
    dir = "sessionStore"
    # branch session size , if exceeded first try compress lockkey, still exceeded throws exceptions
    maxBranchSessionSize = 16384
    # globe session size , if exceeded throws exceptions
    maxGlobalSessionSize = 512
    # file buffer size , if exceeded allocate new buffer
    fileWriteBufferCacheSize = 16384
    # when recover batch read size
    sessionReloadReadSize = 100
    # async, sync
    flushDiskMode = async
  }

  ## database store property
  db {
    ## the implement of javax.sql.DataSource, such as DruidDataSource(druid)/BasicDataSource(dbcp)/HikariDataSource(hikari) etc.
    datasource = "druid"
    ## mysql/oracle/postgresql/h2/oceanbase etc.
    dbType = "mysql"
    driverClassName = "com.mysql.jdbc.Driver"
    url = "jdbc:mysql://127.0.0.1:3306/seata"
    user = "root"
    password = "123456"
    minConn = 5
    maxConn = 100
    globalTable = "global_table"
    branchTable = "branch_table"
    lockTable = "lock_table"
    queryLimit = 100
    maxWait = 5000
  }

  ## redis store property
  redis {
    host = "127.0.0.1"
    port = "6379"
    password = ""
    database = "0"
    minConn = 1
    maxConn = 10
    maxTotal = 100
    queryLimit = 100
  }
}

2、创建数据库:

-- -------------------------------- The script used when storeMode is 'db' --------------------------------
-- the table to store GlobalSession data
CREATE TABLE IF NOT EXISTS `global_table`
(
    `xid`                       VARCHAR(128) NOT NULL,
    `transaction_id`            BIGINT,
    `status`                    TINYINT      NOT NULL,
    `application_id`            VARCHAR(32),
    `transaction_service_group` VARCHAR(32),
    `transaction_name`          VARCHAR(128),
    `timeout`                   INT,
    `begin_time`                BIGINT,
    `application_data`          VARCHAR(2000),
    `gmt_create`                DATETIME,
    `gmt_modified`              DATETIME,
    PRIMARY KEY (`xid`),
    KEY `idx_gmt_modified_status` (`gmt_modified`, `status`),
    KEY `idx_transaction_id` (`transaction_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8;

-- the table to store BranchSession data
CREATE TABLE IF NOT EXISTS `branch_table`
(
    `branch_id`         BIGINT       NOT NULL,
    `xid`               VARCHAR(128) NOT NULL,
    `transaction_id`    BIGINT,
    `resource_group_id` VARCHAR(32),
    `resource_id`       VARCHAR(256),
    `branch_type`       VARCHAR(8),
    `status`            TINYINT,
    `client_id`         VARCHAR(64),
    `application_data`  VARCHAR(2000),
    `gmt_create`        DATETIME(6),
    `gmt_modified`      DATETIME(6),
    PRIMARY KEY (`branch_id`),
    KEY `idx_xid` (`xid`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8;

-- the table to store lock data
CREATE TABLE IF NOT EXISTS `lock_table`
(
    `row_key`        VARCHAR(128) NOT NULL,
    `xid`            VARCHAR(96),
    `transaction_id` BIGINT,
    `branch_id`      BIGINT       NOT NULL,
    `resource_id`    VARCHAR(256),
    `table_name`     VARCHAR(32),
    `pk`             VARCHAR(36),
    `gmt_create`     DATETIME,
    `gmt_modified`   DATETIME,
    PRIMARY KEY (`row_key`),
    KEY `idx_branch_id` (`branch_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8;

3、更改registry.conf

registry {
  # file 、nacos 、eureka、redis、zk、consul、etcd3、sofa
  type = "nacos"
  loadBalance = "RandomLoadBalance"
  loadBalanceVirtualNodes = 10

  nacos {
    application = "seata-server"
    serverAddr = "127.0.0.1:8848"
    group = "SEATA_GROUP"
    namespace = ""
    cluster = "default"
    username = "nacos"
    password = "nacos"
  }
}
config {
  # file、nacos 、apollo、zk、consul、etcd3
  type = "nacos"
  nacos {
    serverAddr = "127.0.0.1:8848"
    namespace = ""
    group = "SEATA_GROUP"
    username = "nacos"
    password = "nacos"
  }
}

4、修改config.txt

transport.type=TCP
transport.server=NIO
transport.heartbeat=true
transport.enableClientBatchSendRequest=false
transport.threadFactory.bossThreadPrefix=NettyBoss
transport.threadFactory.workerThreadPrefix=NettyServerNIOWorker
transport.threadFactory.serverExecutorThreadPrefix=NettyServerBizHandler
transport.threadFactory.shareBossWorker=false
transport.threadFactory.clientSelectorThreadPrefix=NettyClientSelector
transport.threadFactory.clientSelectorThreadSize=1
transport.threadFactory.clientWorkerThreadPrefix=NettyClientWorkerThread
transport.threadFactory.bossThreadSize=1
transport.threadFactory.workerThreadSize=default
transport.shutdown.wait=3
service.vgroupMapping.my_test_tx_group=default
service.default.grouplist=127.0.0.1:8091
service.enableDegrade=false
service.disableGlobalTransaction=false
client.rm.asyncCommitBufferLimit=10000
client.rm.lock.retryInterval=10
client.rm.lock.retryTimes=30
client.rm.lock.retryPolicyBranchRollbackOnConflict=true
client.rm.reportRetryCount=5
client.rm.tableMetaCheckEnable=false
client.rm.sqlParserType=druid
client.rm.reportSuccessEnable=false
client.rm.sagaBranchRegisterEnable=false
client.tm.commitRetryCount=5
client.tm.rollbackRetryCount=5
client.tm.defaultGlobalTransactionTimeout=60000
client.tm.degradeCheck=false
client.tm.degradeCheckAllowTimes=10
client.tm.degradeCheckPeriod=2000
store.mode=db
store.db.datasource=druid
store.db.dbType=mysql
store.db.driverClassName=com.mysql.jdbc.Driver
store.db.url=jdbc:mysql://127.0.0.1:3306/seata?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
store.db.user=root
store.db.password=123456
store.db.minConn=5
store.db.maxConn=30
store.db.globalTable=global_table
store.db.branchTable=branch_table
store.db.queryLimit=100
store.db.lockTable=lock_table
store.db.maxWait=5000
store.redis.host=127.0.0.1
store.redis.port=6379
store.redis.maxConn=10
store.redis.minConn=1
store.redis.database=0
store.redis.password=null
store.redis.queryLimit=100
server.recovery.committingRetryPeriod=1000
server.recovery.asynCommittingRetryPeriod=1000
server.recovery.rollbackingRetryPeriod=1000
server.recovery.timeoutRetryPeriod=1000
server.maxCommitRetryTimeout=-1
server.maxRollbackRetryTimeout=-1
server.rollbackRetryTimeoutUnlockEnable=false
client.undo.dataValidation=true
client.undo.logSerialization=jackson
client.undo.onlyCareUpdateColumns=true
server.undo.logSaveDays=7
server.undo.logDeletePeriod=86400000
client.undo.logTable=undo_log
log.exceptionRate=100
transport.serialization=seata
transport.compressor=none
metrics.enabled=false
metrics.registryType=compact
metrics.exporterList=prometheus
metrics.exporterPrometheusPort=9898

事务分组:异地机房停电容错机制

service.vgroupMapping.my_test_tx_group=default
# my_test_tx_group可以自定义,对应的client也要进行配置,seata.server.vgroup-mapping.projectA=beijing
# default必须等于registry.conf中的cluster属性
service.vgroupMapping.beijing=default

5、将config.txt注册进nacos
windows下运行该python脚本:nacos-config.py

#!/usr/bin/env python3
#  -*- coding: UTF-8 -*-

import http.client
import sys

if len(sys.argv) <= 2:
    print ('python nacos-config.py nacosAddr')
    exit()

headers = {
    'content-type': "application/x-www-form-urlencoded"
}

hasError = False
for line in open('../config.txt'):
    pair = line.split('=')
    if len(pair) < 2:
        continue
    print (line),
    url_prefix = sys.argv[1]
    conn = http.client.HTTPConnection(url_prefix)
    if len(sys.argv) == 3:
        namespace=sys.argv[2]
        url_postfix = '/nacos/v1/cs/configs?dataId={0}&group=SEATA_GROUP&content={1}&tenant={2}'.format(str(pair[0]),str(line[line.index('=')+1:]).strip(),namespace)
    else:
        url_postfix = '/nacos/v1/cs/configs?dataId={}&group=SEATA_GROUP&content={}'.format(str(pair[0]),str(line[line.index('=')+1:])).strip()
    conn.request("POST", url_postfix, headers=headers)
    res = conn.getresponse()
    data = res.read()
    if data.decode("utf-8") != "true":
        hasError = True
if hasError:
    print ("init nacos config fail.")
else:
    print ("init nacos config finished, please start seata-server.")

linux脚本 nacos-config.sh

#!/usr/bin/env bash
# Copyright 1999-2019 Seata.io Group.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at、
#
#      http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

while getopts ":h:p:g:t:u:w:" opt
do
  case $opt in
  h)
    host=$OPTARG
    ;;
  p)
    port=$OPTARG
    ;;
  g)
    group=$OPTARG
    ;;
  t)
    tenant=$OPTARG
    ;;
  u)
    username=$OPTARG
    ;;
  w)
    password=$OPTARG
    ;;
  ?)
    echo " USAGE OPTION: $0 [-h host] [-p port] [-g group] [-t tenant] [-u username] [-w password] "
    exit 1
    ;;
  esac
done

if [[ -z ${host} ]]; then
    host=localhost
fi
if [[ -z ${port} ]]; then
    port=8848
fi
if [[ -z ${group} ]]; then
    group="SEATA_GROUP"
fi
if [[ -z ${tenant} ]]; then
    tenant=""
fi
if [[ -z ${username} ]]; then
    username=""
fi
if [[ -z ${password} ]]; then
    password=""
fi

nacosAddr=$host:$port
contentType="content-type:application/json;charset=UTF-8"

echo "set nacosAddr=$nacosAddr"
echo "set group=$group"

failCount=0
tempLog=$(mktemp -u)
function addConfig() {
  curl -X POST -H "${contentType}" "http://$nacosAddr/nacos/v1/cs/configs?dataId=$1&group=$group&content=$2&tenant=$tenant&username=$username&password=$password" >"${tempLog}" 2>/dev/null
  if [[ -z $(cat "${tempLog}") ]]; then
    echo " Please check the cluster status. "
    exit 1
  fi
  if [[ $(cat "${tempLog}") =~ "true" ]]; then
    echo "Set $1=$2 successfully "
  else
    echo "Set $1=$2 failure "
    (( failCount++ ))
  fi
}

count=0
for line in $(cat $(dirname "$PWD")/config.txt | sed s/[[:space:]]//g); do
  (( count++ ))
	key=${line%%=*}
    value=${line#*=}
	addConfig "${key}" "${value}"
done

echo "========================================================================="
echo " Complete initialization parameters,  total-count:$count ,  failure-count:$failCount "
echo "========================================================================="

if [[ ${failCount} -eq 0 ]]; then
	echo " Init nacos config finished, please start seata-server. "
else
	echo " init nacos config fail. "
fi

6、启动
运行/bin/seata-server.bat