Dubbo 压测插件的实现——基于 Gatling

文 | 聂风 on 测试

Dubbo 压测插件已开源，本文涉及代码详见 gatling-dubbo（点击阅读原文）

Gatling 是一个开源的基于 Scala、Akka、Netty 实现的高性能压测框架，较之其他基于线程实现的压测框架，Gatling 基于 AKKA Actor 模型实现，请求由事件驱动，在系统资源消耗上低于其他压测框架（如内存、连接池等），使得单台施压机可以模拟更多的用户。此外，Gatling 提供了一套简单高效的 DSL（领域特定语言）方便我们编排业务场景，同时也具备流量控制、压力控制的能力并提供了良好的压测报告，所以有赞选择在 Gatling 基础上扩展分布式能力，开发了自己的全链路压测引擎 MAXIM。全链路压测中我们主要模拟用户实际使用场景，使用 HTTP 接口作为压测入口，但有赞目前后端服务中 Dubbo 应用比重越来越高，如果可以知道 Dubbo 应用单机水位将对我们把控系统后端服务能力大有裨益。基于 Gatling 的优势和在有赞的使用基础，我们扩展 Gatling 开发了 gatling-dubbo 压测插件。

插件主要结构

实现 Dubbo 压测插件，需实现以下四部分内容：

• Protocol 和 ProtocolBuild
  协议部分，这里主要定义 Dubbo 客户端相关内容，如协议、泛化调用、服务 URL、注册中心等内容，ProtocolBuild 则为 DSL 使用 Protocol 的辅助类

• Action 和 ActionBuild
  执行部分，这里的作用是发起 Dubbo 请求，校验请求结果并记录日志以便后续生成压测报告。ActionBuild 则为 DSL 使用 Action 的辅助类

• Check 和 CheckBuild
  检查部分，全链路压测中我们都使用 JsonPath检查请求结果，这里我们实现了一样的检查逻辑。CheckBuild 则为 DSL 使用 Check 的辅助类

• DSL
  Dubbo 插件的领域特定语言，我们提供了一套简单易用的 API 方便编写 Duboo 压测脚本，风格上与原生 HTTP DSL 保持一致

Protocol

协议部分由 5 个属性组成，这些属性将在 Action 初始化 Dubbo 客户端时使用，分别是：

• protocol
  协议，设置为 dubbo

• generic
  泛化调用设置，Dubbo 压测插件使用泛化调用发起请求，所以这里设置为 true，有赞优化了泛化调用的性能，为了使用该特性，引入了一个新值 result_no_change（去掉优化前泛化调用的序列化开销以提升性能）

• url
  Dubbo 服务的地址： dubbo://IP地址:端口

• registryProtocol
  Dubbo 注册中心的协议，设置为 ETCD3

• registryAddress
  Dubbo 注册中心的地址

如果是测试 Dubbo 单机水位，则设置 url，注册中心设置为空；如果是测试 Dubbo 集群水位，则设置注册中心（目前支持 ETCD3），url 设置为空。由于目前注册中心只支持 ETCD3，插件在 Dubbo 集群上使用缺乏灵活性，所以我们又实现了客户端层面的负载均衡，如此便可抛开特定的注册中心来测试 Dubbo 集群水位。该特性目前正在内测中。

1. object DubboProtocol {

2.  val DubboProtocolKey = new ProtocolKey {

3.    type Protocol = DubboProtocol

4.    type Components = DubboComponents

5. 
   

6.    def protocolClass: Class[io.gatling.core.protocol.Protocol] = classOf[DubboProtocol].asInstanceOf[Class[io.gatling.core.protocol.Protocol]]

7. 
   

8.    def defaultProtocolValue(configuration: GatlingConfiguration): DubboProtocol = throw new IllegalStateException("Can't provide a default value for DubboProtocol")

9. 
   

10.    def newComponents(system: ActorSystem, coreComponents: CoreComponents): DubboProtocol => DubboComponents = {

11.      dubboProtocol => DubboComponents(dubboProtocol)

12.    }

13.  }

14. }

15. 
    

16. case class DubboProtocol(

17.    protocol: String, //dubbo

18.    generic:  String, //泛化调用?

19.    url:      String, //use url or

20.    registryProtocol: String,  //use registry

21.    registryAddress:  String   //use registry

22. ) extends Protocol {

23.  type Components = DubboComponents

24. }

为了方便 Action 中使用上面这些属性，我们将其装进了 Gatling 的 ProtocolComponents：

case class DubboComponents(dubboProtocol: DubboProtocol) extends ProtocolComponents {  def onStart: Option[Session => Session] = None  def onExit: Option[Session => Unit] = None}

以上就是关于 Protocol 的定义。为了能在 DSL 中配置上述 Protocol，我们定义了 DubboProtocolBuilder，包含了 5 个方法分别设置 Protocol 的 protocol、generic、url、registryProtocol、registryAddress 5 个属性。

1. object DubboProtocolBuilderBase {

2.  def protocol(protocol: String) = DubboProtocolBuilderGenericStep(protocol)

3. }

4. 
   

5. case class DubboProtocolBuilderGenericStep(protocol: String) {

6.  def generic(generic: String) = DubboProtocolBuilderUrlStep(protocol, generic)

7. }

8. 
   

9. case class DubboProtocolBuilderUrlStep(protocol: String, generic: String) {

10.  def url(url: String) = DubboProtocolBuilderRegistryProtocolStep(protocol, generic, url)

11. }

12. 
    

13. case class DubboProtocolBuilderRegistryProtocolStep(protocol: String, generic: String, url: String) {

14.  def registryProtocol(registryProtocol: String) = DubboProtocolBuilderRegistryAddressStep(protocol, generic, url, registryProtocol)

15. }

16. 
    

17. case class DubboProtocolBuilderRegistryAddressStep(protocol: String, generic: String, url: String, registryProtocol: String) {

18.  def registryAddress(registryAddress: String) = DubboProtocolBuilder(protocol, generic, url, registryProtocol, registryAddress)

19. }

20. 
    

21. case class DubboProtocolBuilder(protocol: String, generic: String, url: String, registryProtocol: String, registryAddress: String) {

22.  def build = DubboProtocol(

23.    protocol = protocol,

24.    generic = generic,

25.    url = url,

26.    registryProtocol = registryProtocol,

27.    registryAddress = registryAddress

28.  )

29. }

Action

DubboAction 包含了 Duboo 请求逻辑、请求结果校验逻辑以及压力控制逻辑，需要扩展 ExitableAction 并实现 execute 方法。

DubboAction 类的域 argTypes、argValues 分别是泛化调用请求参数类型和请求参数值，需为 Expression[] 类型，这样当使用数据 Feeder 作为压测脚本参数输入时，可以使用类似 ${args_types}、 ${args_values}这样的表达式从数据 Feeder 中解析对应字段的值。

execute 方法必须以异步方式执行 Dubbo 请求，这样前一个 Dubbo 请求执行后但还未等响应返回时虚拟用户就可以通过 AKKA Message 立即发起下一个请求，如此一个虚拟用户可以在很短的时间内构造大量请求。请求方式方面，相比于泛化调用，原生 API 调用需要客户端载入 Dubbo 服务相应的 API 包，但有时候却拿不到，此外，当被测 Dubbo 应用多了，客户端需要载入多个 API 包，所以出于使用上的便利性，Dubbo 压测插件使用泛化调用发起请求。

异步请求响应后会执行 onComplete 方法，校验请求结果，并根据校验结果记录请求成功或失败日志，压测报告就是使用这些日志统计计算的。

为了控制压测时的 RPS，则需要实现 throttle 逻辑。实践中发现，高并发情况下，泛化调用性能远不如原生 API 调用性能，且响应时间成倍增长（如此不能表征 Dubbo 应用的真正性能），导致 Dubbo 压测插件压力控制不准，解决办法是优化泛化调用性能，使之与原生 API 调用的性能相近，请参考dubbo 泛化调用性能优化。

1. class DubboAction(

2.    interface:        String,

3.    method:           String,

4.    argTypes:         Expression[Array[String]],

5.    argValues:        Expression[Array[Object]],

6.    genericService:   GenericService,

7.    checks:           List[DubboCheck],

8.    coreComponents:   CoreComponents,

9.    throttled:        Boolean,

10.    val objectMapper: ObjectMapper,

11.    val next:         Action

12. ) extends ExitableAction with NameGen {

13. 
    

14.  override def statsEngine: StatsEngine = coreComponents.statsEngine

15. 
    

16.  override def name: String = genName("dubboRequest")

17. 
    

18.  override def execute(session: Session): Unit = recover(session) {

19.    argTypes(session) flatMap { argTypesArray =>

20.      argValues(session) map { argValuesArray =>

21.        val startTime = System.currentTimeMillis()

22.        val f = Future {

23.          try {

24.            genericService.$invoke(method, argTypes(session).get, argValues(session).get)

25.          } finally {

26.          }

27.        }

28. 
    

29.        f.onComplete {

30.          case Success(result) =>

31.            val endTime = System.currentTimeMillis()

32.            val resultMap = result.asInstanceOf[JMap[String, Any]]

33.            val resultJson = objectMapper.writeValueAsString(resultMap)

34.            val (newSession, error) = Check.check(resultJson, session, checks)

35.            error match {

36.              case None =>

37.                statsEngine.logResponse(session, interface + "." + method, ResponseTimings(startTime, endTime), Status("OK"), None, None)

38.                throttle(newSession(session))

39.              case Some(Failure(errorMessage)) =>

40.                statsEngine.logResponse(session, interface + "." + method, ResponseTimings(startTime, endTime), Status("KO"), None, Some(errorMessage))

41.                throttle(newSession(session).markAsFailed)

42.            }

43.          case FuFailure(e) =>

44.            val endTime = System.currentTimeMillis()

45.            statsEngine.logResponse(session, interface + "." + method, ResponseTimings(startTime, endTime), Status("KO"), None, Some(e.getMessage))

46.            throttle(session.markAsFailed)

47.        }

48.      }

49.    }

50.  }

51. 
    

52.  private def throttle(s: Session): Unit = {

53.    if (throttled) {

54.      coreComponents.throttler.throttle(s.scenario, () => next ! s)

55.    } else {

56.      next ! s

57.    }

58.  }

59. }

DubboActionBuilder 则是获取 Protocol 属性并初始化 Dubbo 客户端：

1. case class DubboActionBuilder(interface: String, method: String, argTypes: Expression[Array[String]], argValues: Expression[Array[Object]], checks: List[DubboCheck]) extends ActionBuilder {

2.  private def components(protocolComponentsRegistry: ProtocolComponentsRegistry): DubboComponents =

3.    protocolComponentsRegistry.components(DubboProtocol.DubboProtocolKey)

4. 
   

5.  override def build(ctx: ScenarioContext, next: Action): Action = {

6.    import ctx._

7.    val protocol = components(protocolComponentsRegistry).dubboProtocol

8.    //Dubbo客户端配置

9.    val reference = new ReferenceConfig[GenericService]

10.    val application = new ApplicationConfig

11.    application.setName("gatling-dubbo")

12.    reference.setApplication(application)

13.    reference.setProtocol(protocol.protocol)

14.    reference.setGeneric(protocol.generic)

15.    if (protocol.url == "") {

16.      val registry = new RegistryConfig

17.      registry.setProtocol(protocol.registryProtocol)

18.      registry.setAddress(protocol.registryAddress)

19.      reference.setRegistry(registry)

20.    } else {

21.      reference.setUrl(protocol.url)

22.    }

23.    reference.setInterface(interface)

24.    val cache = ReferenceConfigCache.getCache

25.    val genericService = cache.get(reference)

26.    val objectMapper: ObjectMapper = new ObjectMapper()

27.    new DubboAction(interface, method, argTypes, argValues, genericService, checks, coreComponents, throttled, objectMapper, next)

28.  }

29. }

LambdaProcessBuilder 则提供了设置 Dubbo 泛化调用入参的 DSL 以及接下来要介绍的 Check 部分的 DSL：

1. case class DubboProcessBuilder(interface: String, method: String, argTypes: Expression[Array[String]] = _ => Success(Array.empty[String]), argValues: Expression[Array[Object]] = _ => Success(Array.empty[Object]), checks: List[DubboCheck] = Nil) extends DubboCheckSupport {

2. 
   

3.  def argTypes(argTypes: Expression[Array[String]]): DubboProcessBuilder = copy(argTypes = argTypes)

4. 
   

5.  def argValues(argValues: Expression[Array[Object]]): DubboProcessBuilder = copy(argValues = argValues)

6. 
   

7.  def check(dubboChecks: DubboCheck*): DubboProcessBuilder = copy(checks = checks ::: dubboChecks.toList)

8. 
   

9.  def build(): ActionBuilder = DubboActionBuilder(interface, method, argTypes, argValues, checks)

10. }

Check

全链路压测中，我们都使用 JsonPath校验 HTTP 请求结果，Dubbo 压测插件中，我们也实现了基于 JsonPath的校验。实现 Check，必须实现 Gatling check 中的 Extender 和 Preparer：

1. package object dubbo {

2.  type DubboCheck = Check[String]

3. 
   

4.  val DubboStringExtender: Extender[DubboCheck, String] =

5.    (check: DubboCheck) => check

6. 
   

7.  val DubboStringPreparer: Preparer[String, String] =

8.    (result: String) => Success(result)

9. }

基于 JsonPath的校验逻辑：

1. trait DubboJsonPathOfType {

2.  self: DubboJsonPathCheckBuilder[String] =>

3. 
   

4.  def ofType[X: JsonFilter](implicit extractorFactory: JsonPathExtractorFactory) = new DubboJsonPathCheckBuilder[X](path, jsonParsers)

5. }

6. 
   

7. object DubboJsonPathCheckBuilder {

8.  val CharsParsingThreshold = 200 * 1000

9. 
   

10.  def preparer(jsonParsers: JsonParsers): Preparer[String, Any] =

11.    response => {

12.      if (response.length() > CharsParsingThreshold || jsonParsers.preferJackson)

13.        jsonParsers.safeParseJackson(response)

14.      else

15.        jsonParsers.safeParseBoon(response)

16.    }

17. 
    

18.  def jsonPath(path: Expression[String])(implicit extractorFactory: JsonPathExtractorFactory, jsonParsers: JsonParsers) =

19.    new DubboJsonPathCheckBuilder[String](path, jsonParsers) with DubboJsonPathOfType

20. }

21. 
    

22. class DubboJsonPathCheckBuilder[X: JsonFilter](

23.    private[check] val path:        Expression[String],

24.    private[check] val jsonParsers: JsonParsers

25. )(implicit extractorFactory: JsonPathExtractorFactory)

26.  extends DefaultMultipleFindCheckBuilder[DubboCheck, String, Any, X](

27.    DubboStringExtender,

28.    DubboJsonPathCheckBuilder.preparer(jsonParsers)

29.  ) {

30.  import extractorFactory._

31. 
    

32.  def findExtractor(occurrence: Int) = path.map(newSingleExtractor[X](_, occurrence))

33.  def findAllExtractor = path.map(newMultipleExtractor[X])

34.  def countExtractor = path.map(newCountExtractor)

35. }

DubboCheckSupport 则提供了设置 jsonPath 表达式的 DSL：

trait DubboCheckSupport {  def jsonPath(path: Expression[String])(implicit extractorFactory: JsonPathExtractorFactory, jsonParsers: JsonParsers) =    DubboJsonPathCheckBuilder.jsonPath(path)}

Dubbo 压测脚本中可以设置一个或多个 check 校验请求结果，使用 DSL check 方法

DSL

trait AwsDsl提供顶层 DSL。我们还定义了 dubboProtocolBuilder2DubboProtocol、dubboProcessBuilder2ActionBuilder 两个 Scala 隐式方法，以自动构造 DubboProtocol 和 ActionBuilder。

此外，泛化调用中使用的参数类型为 Java 类型，而我们的压测脚本使用 Scala 编写，所以这里需要做两种语言间的类型转换，所以我们定义了 transformJsonDubboData 方法。

1. trait DubboDsl extends DubboCheckSupport {

2.  val Dubbo = DubboProtocolBuilderBase

3. 
   

4.  def dubbo(interface: String, method: String) = DubboProcessBuilder(interface, method)

5. 
   

6.  implicit def dubboProtocolBuilder2DubboProtocol(builder: DubboProtocolBuilder): DubboProtocol = builder.build

7. 
   

8.  implicit def dubboProcessBuilder2ActionBuilder(builder: DubboProcessBuilder): ActionBuilder = builder.build()

9. 
   

10.  def transformJsonDubboData(argTypeName: String, argValueName: String, session: Session): Session = {

11.    session.set(argTypeName, toArray(session(argTypeName).as[JList[String]]))

12.      .set(argValueName, toArray(session(argValueName).as[JList[Any]]))

13.  }

14. 
    

15.  private def toArray[T:ClassTag](value: JList[T]): Array[T] = {

16.    value.asScala.toArray

17.  }

18. }

object Predef extends DubboDsl

Dubbo 压测脚本和数据 Feeder 示例

压测脚本示例：

1. import io.gatling.core.Predef._

2. import io.gatling.dubbo.Predef._

3. 
   

4. import scala.concurrent.duration._

5. 
   

6. class DubboTest extends Simulation {

7.  val dubboConfig = Dubbo

8.    .protocol("dubbo")

9.    .generic("true")

10.    //直连某台Dubbo机器，只单独压测一台机器的水位

11.    .url("dubbo://IP地址:端口")

12.    //或设置注册中心，压测该Dubbo应用集群的水位，支持ETCD3注册中心

13.    .registryProtocol("")

14.    .registryAddress("")

15. 
    

16.  val jsonFileFeeder = jsonFile("data.json").circular  //数据Feeder

17.  val dubboScenario = scenario("load test dubbo")

18.    .forever("repeated") {

19.      feed(jsonFileFeeder)

20.        .exec(session => transformJsonDubboData("args_types1", "args_values1", session))

21.        .exec(dubbo("com.xxx.xxxService", "methodName")

22.          .argTypes("${args_types1}")

23.          .argValues("${args_values1}")

24.          .check(jsonPath("$.code").is("200"))

25.        )

26.    }

27. 
    

28.  setUp(

29.    dubboScenario.inject(atOnceUsers(10))

30.      .throttle(

31.        reachRps(10) in (1 seconds),

32.        holdFor(30 seconds))

33.  ).protocols(dubboConfig)

34. }

data.json 示例：

[  {  "args_types1": ["com.xxx.xxxDTO"],  "args_values1": [{    "field1": "111",    "field2": "222",    "field3": "333"  }]  }]

Dubbo 压测报告示例